大数据方向
一触即发886
这个作者很懒,什么都没留下…
展开
-
hadoop中mapreduce框架运行错误
java.lang.Exception: java.io.IOException: Type mismatch in key from map: expected org.apache.hadoop.io.Text, received org.apache.hadoop.io.LongWritable 的异常处理原创 2017-12-11 22:09:55 · 572 阅读 · 0 评论 -
关于mapreduce运行错误
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/util/Apps 报异常就是Hadoop环境中缺少yarn文件中的jar包,导入即可原创 2017-12-11 21:41:43 · 1398 阅读 · 1 评论 -
sparkSQL 中将DF数据集存储到mysql数据库与读取过程
从mysql中读取数据 // 读取数据库中的数据 val jdbcDF = spark.read.format("jdbc"). option("url", "jdbc:mysql://localhost:3306/spark"). option("driver","com.mysql.jdbc.Driver"). option("dbtable", "student"). o原创 2018-03-08 20:32:38 · 1444 阅读 · 0 评论 -
hbase配置文件参考
hbase有本地模式和分布式模式hbase-site.xml配置hbase.tmp.dir本地文件系统tmp目录,一般配置成local模式的设置一下,但是最好还是需要设置一下,因为很多文件都会默认设置成它下面的线上配置<property> <name>hbase.tmp.dir</name> <value>/mnt/路径</va...转载 2018-03-04 11:29:58 · 891 阅读 · 0 评论