2017年06月_xubc

07月 06月 05月 04月 03月 02月 01月

原创 ssh远程到目标机器执行命令shell脚本

linux下ssh到目标机器首先需要配置免密码登陆，才能执行如下脚本 hostnames服务器列表文件master.hadoopw1.hadoopw2.hadoopw3.hadoopw4.hadoop 运行shell脚本#!/bin/bashfunction usage() { echo "Wrong arguments input..." echo "Usa

2017-06-30 09:50:49 2794

原创 spark读取mongodb数据

val spark = SparkSession.builder .appName(this.getClass.getName().stripSuffix("$")) .getOrCreate() val df = spark.read.format("com.mongodb.spark.sql").options( Map

2017-06-26 11:38:51 10395

原创 spark在windows上local模式下的缺失winutils.exe异常

在window10上Intellij IDEA上已Local的模式运行调试Spark程序，并且将中间结果写入本地目录时，程序抛出异常错误Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties17/06/19 11:24:33 INFO SparkContext: Running Spark

2017-06-19 11:49:41 5401

原创 mongo在shell中操作命令

在linux中安装mongodb的客户端很简单，下载对应版本的mongodb-linux-x86_64-rhel62-3.4.2.tgz，解压后加入目录bin到环境变量中就可使用mongo 198.168.0.1:27017/nlp -u nlp_s -p 123456 连接mongo之后，数据库操作命令# 查看库中所有表show collections;# 查看表中数据db.

2017-06-05 11:44:07 411

Python加载纯真IP库查询

运用Python脚本对纯真IP库进行 IP查询，导出文本

2013-06-17

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人