不忘初心 方得始终

初次使用 git config --global user.name "xxx" git config --global user.email "xx@xx" git init 1.git下创建git new project 2.本地使用git命令行 3.执行：git clone "url" 4.eclipse创建工程，workspace为git工程目录 5.git a

1.      下载spark程序依赖包: spark-1.6.1-bin-hadoop2.6.tgz，可以下载需要的版本。 http://spark.apache.org/downloads.html 注意选择2的时候，要选基于hadoop的。 2.      下载winutils.exe文件，这个网上一搜就可以了，下载后在本地新建hadoop目录，在该目录下建bin目录，然后

http://www.cnblogs.com/lanxuezaipiao/p/3291641.html 方案一：用Eclipse自带的Export功能 步骤1：准备主清单文件 “MANIFEST.MF”， 由于是打包引用了第三方jar包的Java项目，故需要自定义配置文件MANIFEST.MF，在该项目下建立文件MANIFEST.MF，内容如下： Manifest-Ve

spark性能调优有很多措施，下面说说我用到的一些调优手段。 1.RDD分片数和executor个数的协调 要想充分的使数据并行执行，并且能充分的利用每一个executor，则在rdd的个数与executor的个数之间要有一个合适的值。若rdd的个数较多而executor的个数较少，则会导致部分rdd需要等待空闲的executor，这样不能使所有数据同时并行执行。若rdd较少，而executo

xgboost是轻量级的gbdt，在安装的时候遇到不少坑，现在记下来。 1.安装anaconda 安装xgboost 有一些依赖包，所以在安装xgboost之前需要安装这些依赖包。 2.下载xgboost 3.编译并安装 cd /home/xgboost-master make cd wrapper python ../python-package/setup.py install...