spark读取mongodb数据

val spark = SparkSession.builder .appName(this.getClass.getName().stripSuffix("$")) .getOrCreate() val df = spark.r...

2017-06-26 11:38:51

阅读数 6475

评论数 0

mongo在shell中操作命令

在linux中安装mongodb的客户端很简单,下载对应版本的mongodb-linux-x86_64-rhel62-3.4.2.tgz,解压后加入目录bin到环境变量中就可使用 mongo 198.168.0.1:27017/nlp -u nlp_s -p 123456 连接mongo之后,数...

2017-06-05 11:44:07

阅读数 220

评论数 0

导数据中的网络引起的异常

最近由hive想应用数据库mysql 和 hbas导数据的时候,莫名的出现很多连接异常或者中断的情况,初步怀疑是开启并发过多占满网络带宽导致    导入mysql数据库 Lost connection to MySQL server at 'reading authorization pack...

2017-04-27 14:52:37

阅读数 289

评论数 0

impala大数据量查询/tmp/impala-scratch创建异常

使用impala对大数据量查询distinct的时候出现如下错误 5ab149d_24414dab2c19caca:e54b206c5ab149f_91001337-9d70-4c93-84ce-e7916c1ae804 failed with errno=2 description=Error(...

2017-02-10 17:37:11

阅读数 809

评论数 0

kafka0.8.2命令

##  kafka启动 zookeeper-server start bin/kafka-server-stop.sh nohup bin/kafka-server-start.sh config/server.properties > logs/kafka-server-start....

2017-02-04 14:06:21

阅读数 620

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭