- 博客(18)
- 资源 (25)
- 收藏
- 关注
原创 DataX---数据同步json操作
成功!mysql到本地打印控制台{ "job": { "content": [ { "reader": { "name": "mysqlreader", "parameter": {
2016-09-29 18:12:14 22941 1
转载 No columns to generate for ClassWriter---Sqoop工具同步mysql到hive异常
sqoop导入mysql数据出错 用sqoop导入mysql数据出现以下错误:14/12/03 16:37:58 ERROR manager.SqlManager: Error reading from database: java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@54b0a58
2016-09-26 10:15:22 6055
转载 mapreduce中的压缩
转载请注明出处:http://blog.csdn.net/lastsweetop/article/details/9187721作为输入当压缩文件做为mapreduce的输入时,mapreduce将自动通过扩展名找到相应的codec对其解压。作为输出当mapreduce的输出文件需要压缩时,可以更改mapred.output.compress为true,mapped.out
2016-09-14 17:05:39 468
转载 MapReduce中自定义文件输出名
MR的输出结果默认为part-r-00000,我们可自定义易识别的名字替代part,如score-r-00000[java] view plain copy job.setOutputFormatClass(MyOut.class); MyOut.setOutputName(job, "score");//自定义输出名
2016-09-14 17:04:05 4774 1
转载 Spark开发环境配置(windows/Intellij IDEA 篇)
Spark开发环境配置(windows/Intellij IDEA 篇)Intellij IDEA是一个蛮不错的IDE,在java/scala/Groovy领域深得人心。笔者之前使用的是Eclipse那一套开发环境,虽然也不错,但忍不住好奇心的驱使,折腾了一下IDEA,发现写起Spark程序来,“哎呦,不错哟!”,故总结一下在windows系统中的配置过程(在mac下的配置其实更简单一些)
2016-09-14 15:42:12 2413
转载 eclipse 连接 cdh5.5 插件
CDH 所用Eclipse 插件,与 Hadoop 插件一样。 CDH 5.5 对应的 (apache)hadoop-2.6。首先下载 hadoop Eclipse 插件。 下载地址: https://github.com/winghc/hadoop2x-eclipse-plugin安装 Eclipse 插件 复制 release/hadoop-
2016-09-06 12:40:42 1530
原创 eclipse 连接 cdh5.3插件
版本说明:eclipse:eclipse-jee-kepler-SR1-win32-x86_64cdh:hadoop-2.5.0-cdh5.3.6第一步:插件的安装在..\eclipse\plugins\导入hadoop插件如图:这些插件可在hadoop原生态安装包中找到。具体在apache官网下载对应版本的hadoop安装包的lib中以及cdh的lib中第二步:C
2016-09-06 12:39:10 1584 4
转载 cloudera CDH(5)开发方式及CDH eclipse插件编译总结
最近捣鼓cdh云存储,由于与eclipse端不兼容,各种神奇,把cdh4降成cdh3u5,然后又降成cdh3u4,总之很烦,后来看到了篇文章关于如何自己编译eclipse plugin的jar包,然后自己修改修改,在这里跟大家分享分享 首先,无论你的服务器上Hadoop 使用的是什么版本,你都需要下载对应的这个版本的源代码包进行编译. 你是Apache Hadoop 0.20.2 就去Ap
2016-09-03 18:12:18 1175
转载 CDH eclipse不兼容问题
hadoop插件开发方式1.插件开发对于插件开发,有些小麻烦。使用插件最好自己编译,因为eclipse插件能否连接成功,不止跟你的配置和集群有关系,还和你的eclipse版本有关系。这样造成很多新手链接不成功.2.无插件开发无插件开发,对于新手则需要熟悉Linux,因为你上传的文件,删除文件,没有使用插件方便。插件可以帮助你删除文件、上传文件后,不用通过Linux即可看到。插件
2016-09-03 18:11:23 859
原创 Message missing required fields: callId, status
Hadoop出错 " Message missing required fields: callId, status"解决方案用eclipse CDH-hadoop HDFS连接获取文件目录的时候出错:这种问题大部分都是版本的问题,于是查看环境相关信息:Hadoop环境版本信息: Hadoop 2.5.0-cdh5.3.2本地hadoop相关jar版
2016-09-03 16:46:47 3880
原创 Hive 官网,表操作,数据类型等
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Create/Drop/Alter/UseDatabase
2016-09-03 15:19:48 926
原创 hdfs - ls: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException:
http://stackoverflow.com/questions/16372997/hdfs-ls-failed-on-local-exception-com-google-protobuf-invalidprotocolbuffere
2016-09-02 17:34:05 9917
原创 Linux查看hadoop配置文件中属性--hdfs getconf -confKey fs.default.name
hdfs getconf -confKey fs.default.name
2016-09-02 17:30:08 7046
转载 Hadoop eclipse开发解决Call to localhost/127.0.0.1:9000 failed on local exception: java.io.EOFException
问题:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
2016-09-02 15:52:26 3598
原创 [root@sdzn-cdh01 /]# find . -name 文件名 ---搜索目录位置 whereis 名称
find . -name 文件名
2016-09-01 14:11:06 658
wireshark-v3.4.2.zip
2021-04-20
shell脚本案例-俄罗斯方块
2021-03-01
gsoap2.8.11&2.8.1双版本.txt
2021-02-05
gsoap2.8.11离线安装包
2021-02-05
yum离线安装包(真实有效)
2021-02-05
PERL/NASM安装包(exe)工具以及openssl-1.1.1-pre5.tar.gz
2020-11-03
NVIDIA-Linux-x86_64-418.88.run
2020-09-02
Ubuntu16.04 openssh安装包
2020-07-16
全栈性能java网络爬虫从入门到精通实战.pdf
2020-05-26
Ubuntu操作系统ssh安装包
2020-05-25
qt-opensource-linux-x64-5.7.1.run
2020-03-26
qt-opensource-linux-x64-5.5.1.run
2020-03-26
curl-7.49.0.tar.gz
2020-03-26
libevent-2.0.21-stable.tar.gz
2020-03-26
Linux libevent2.1安装包
2020-03-26
redis505.rar
2020-03-04
支持VMWare Esxi6.7虚拟机操作系统,VMware-ovftool-4.3.0.x86_64。用于企业大容量(20G亲测)OVF导出.txt
2019-11-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人