- 博客(8)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 centos6.5安装配置spark
安装java 下载jdk 解压 tar -zxvf jdk-8u91-linux-x64.tar.gz 设置JAVA_HOME：修改配置文件vi /etc/profile，最后一行添加以下代码export JAVA_HOME=/usr/java/jdk1.8.0_91 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.
2016-06-28 18:12:39
6369
原创 Hadoop-2.7.2在Linux（centos6.5）上安装配置
下载Hadoop-2.7.2 官方下载地址 百度云下载地址 下载JAVA 64位百度云下载 VMware启动linux 注意事项： VMware设置网络为nat模式 linux设置启动后自动连接网络 方法一：修改配置文件 vi /etc/sysconfig/network-scripts/ifcfg-eth0，将ONBOOT=no 改成 yes 就表示开机后默认链接
2016-06-28 17:28:59
2706
1
原创 idea配置spark开发环境时产生的错误总结
错误一null>bin>winutils.exe not found这种情况下只是需要winutils.exe文件即可，不需要下载所有hadoop winutils.exe下载链接 然后放在hadoop/bin文件夹下，环境变量加上HADOOP_HOME错误二build Artifacts时报错java.lang.outofmemoryerror配置时output，因为运行环境中已经有相关包，所
2016-06-28 14:28:42
3033
原创 shell脚本编写，实现爬虫挂掉后重启
首先我说一下需求我有一个java写的爬虫，需要运行在linux后台，爬虫分为服务器端和客户端后台运行爬虫linux运行jar文件 java -jar ./spider_server.jar 后台运行：nohup java -jar ./spider_server.jar > server.log 2>&1 &使用nohup命令，然后把日志信息输出到server.log中如果直接使用 java -j
2016-06-23 17:42:57
1694
原创 xshell端口转发，plsql连接远程oracle
xshell端口转发 首先用xshell连接上远程linux主机 点击xshell窗口下’查看’>’隧道窗格’，底端出现如下窗口 点击右键>添加,填写端口转发信息 请求本地的5568端口时，将请求转发到主机192.168.0.142的1521端口，5568是随意设置的，1521是目标主机中oracle的端口号 左边圆点为绿色即代表转发成功 plsql远程连接oracle 下载plsql和
2016-06-17 10:36:29
7834
1
原创 Linux安装使用mongodb
下载wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel55-3.2.7.tgz解压tar -zxvf mongodb-linux-x86_64-rhel55-3.2.7.tgz新建数据存放目录mv mongodb-linux-x86_64-rhel55-3.2.7 mongodb-3.2.7 mkdir mongodb-3.2
2016-06-16 15:10:24
1769
原创 eclipse下开发mapreduce需要导入的jar包
hadoop-2.7.2/share/hadoop/mapreduce下的所有jar包（子文件夹下的jar包不用） hadoop-2.7.2/share/hadoop/common下的hadoop-common-2.7.2.jar
2016-06-16 14:26:48
13101
1
空空如也
kNN分类算法中k的取值如何确定？
2016-04-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人