![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
工程开发
文章平均质量分 52
海涛anywn
不忘初心 方得始终
展开
-
git命令使用
初次使用git config --global user.name "xxx"git config --global user.email "xx@xx"git init1.git下创建git new project2.本地使用git命令行3.执行:git clone "url"4.eclipse创建工程,workspace为git工程目录5.git a原创 2016-04-21 11:18:33 · 343 阅读 · 0 评论 -
在eclipse下开发spark程序环境配置
1. 下载spark程序依赖包: spark-1.6.1-bin-hadoop2.6.tgz,可以下载需要的版本。http://spark.apache.org/downloads.html注意选择2的时候,要选基于hadoop的。2. 下载winutils.exe文件,这个网上一搜就可以了,下载后在本地新建hadoop目录,在该目录下建bin目录,然后原创 2016-05-20 14:15:04 · 2889 阅读 · 0 评论 -
Eclipse将引用了第三方jar包的Java项目打包成jar文件的两种方法
http://www.cnblogs.com/lanxuezaipiao/p/3291641.html方案一:用Eclipse自带的Export功能步骤1:准备主清单文件 “MANIFEST.MF”,由于是打包引用了第三方jar包的Java项目,故需要自定义配置文件MANIFEST.MF,在该项目下建立文件MANIFEST.MF,内容如下:Manifest-Ve转载 2016-05-23 11:59:33 · 426 阅读 · 0 评论 -
spark性能调优
spark性能调优有很多措施,下面说说我用到的一些调优手段。1.RDD分片数和executor个数的协调要想充分的使数据并行执行,并且能充分的利用每一个executor,则在rdd的个数与executor的个数之间要有一个合适的值。若rdd的个数较多而executor的个数较少,则会导致部分rdd需要等待空闲的executor,这样不能使所有数据同时并行执行。若rdd较少,而executo原创 2016-06-21 18:33:33 · 6319 阅读 · 1 评论 -
xgboost在linux环境下的安装步骤
xgboost是轻量级的gbdt,在安装的时候遇到不少坑,现在记下来。1.安装anaconda安装xgboost 有一些依赖包,所以在安装xgboost之前需要安装这些依赖包。2.下载xgboost3.编译并安装cd /home/xgboost-mastermakecd wrapperpython ../python-package/setup.py install...原创 2019-05-27 15:47:51 · 1407 阅读 · 0 评论