2016年06月_光于前裕于后

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Hadoop与MongoDB整合（Hive篇）

1.背景公司希望使用MongoDB作为后端业务数据库，使用Hadoop平台作为数据平台。最开始是先把数据从MongoDB导出来，然后传到HDFS，然后用Hive/MR处理。我感觉这也太麻烦了，现在不可能没有人想到这个问题，于是就搜了一下，结果真找到一个MongoDB Connector for Hadoop2.MongoDB简介–摘自邹贵金的《mongodb》一书NoSQL数据库与传统的关系型数据库

2016-06-17 11:33:30 29501 11

原创 java.net.BindException: 无法指定被请求的地址: Service 'sparkDriver' failed after 16 retries!

16/06/27 19:36:34 WARN Utils: Service ‘sparkDriver’ could not bind on port 0. Attempting port 1. 16/06/27 19:36:34 WARN Utils: Service ‘sparkDriver’ could not bind on port 0. Attempting port 1. 16/06

2016-06-27 19:39:34 10616

转载 Spark insertIntoJDBC找不到Mysql驱动解决方法

java.sql.SQLException: No suitable driver found for jdbc:mysql://ip:3306/xx　　感觉很奇怪，我在启动作业的时候加了Mysql驱动啊在，怎么会出现这种异常呢？？经过查找，发现在–jars参数里面加入Mysql是没有用的。通过查找，发现提交的作业可以通过加入–driver-class-path参数来设置driver的classpa

2016-06-27 19:33:52 5353 1

原创 IllegalStateException: Did not find registered driver with class com.mysql.jdbc.Driver

将Spark SQL处理的结果存入MYSQL时出现了这个错，查了半天发现这是spark1.6.1的bug。真是日了狗了！具体的执行命令为：/opt/apps/spark-1.6.1-bin-hadoop2.6/bin/spark-submit –master yarn –deploy-mode client –driver-memory 4g –num-executors 2 –executor-m

2016-06-27 17:27:56 3097

原创 HDFS用户权限管理

客户端需要向HDFS写入文件，这时往往会遇到权限问题。解决办法：[hadoop@DEV21 cron]$ hdfs dfs -chown hadoop:hadoop /result#先将目录改为属于hadoop用户组[hadoop@DEV21 cron]$ hdfs dfs -ls /Found 3 itemsdrwxr-xr-x - hadoop supergroup

2016-06-27 14:35:55 6078 1

转载 Linux查看端口使用状态、关闭端口方法

转自：http://blog.sina.com.cn/s/blog_48e301050101h9ub.html前提：首先你必须知道，端口不是独立存在的，它是依附于进程的。某个进程开启，那么它对应的端口就开启了，进程关闭，则该端口也就关闭了。下次若某个进程再次开启，则相应的端口也再次开启。而不要纯粹的理解为关闭掉某个端口，不过可以禁用某个端口。1. 可以通过"netstat -anp"

2016-06-14 10:54:16 8047

原创 Zookeeper启动失败（java.net.BindException: 地址已在使用）

[hadoop@DEV22 ~]$ opt/zookeeper-3.4.8/bin/zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /home/hadoop/opt/zookeeper-3.4.8/bin/../conf/zoo.cfgStarting zookeeper ... STARTED[hadoop@D

2016-06-13 16:24:21 31060 6

原创 Ubuntu外接屏幕（双屏幕）

主要用的就是xrandrguo@drguo:~$ xrandr#先看一下当前连接的屏幕有什么Screen 0: minimum 320 x 200, current 1366 x 768, maximum 16384 x 16384eDP connected primary 1366x768+0+0 (normal left inverted right x axis y axis) 34

2016-06-12 17:11:08 8588 1

jce8&mysql.zip

含jce_policy-8.zip，mysql57-community-release-el7-8.noarch.rpm，mysql-connector-java-5.1.39.jar

2021-05-20

py4j-0.10.9.1-py2.py3-none-any.whl

py4j，python2和3都可使用，安装py4j：pip install py4j-0.10.9.1-py2.py3-none-any.whl

2021-02-09

pyspark相关包.zip

在Windows下安装使用pyspark所依赖的软件，含python-3.7.2-amd64.exe，scala-2.11.8.msi，spark-2.4.0-bin-hadoop2.7.tgz，winutils-master.zip，其中winutils-master.zip中有hadoop-2.6.0到hadoop-3.0.0各版本，使用说明详见：drguo.blog.csdn.net/article/details/113769453

2021-02-09

eagle-0.5.0-bin.tar.gz

编译好的apache eagle 0.5.0，可直接解压执行，使用说明详见：https://drguo.blog.csdn.net/article/details/109995776

2020-11-25

eagle-0.5.1-SNAPSHOT-bin.tar.gz

编译好的apache eagle 0.5.1，可直接解压执行，使用说明详见：https://drguo.blog.csdn.net/article/details/109995776

2020-11-25

libfb303-0.9.3.jar

Thrift is a software framework for scalable cross-language services development.hive 1.x以上用这个代替libfb303.jar

2019-11-13

libfb303.jar

解决使用flume sink到hive时缺少jar包的错误，Caused by: java.lang.ClassNotFoundException: com.facebook.fb303.FacebookServiceIface

2019-11-05

Flume采集MySQL数据所需jar包.zip

Flume采集MySQL数据所需jar包，含flume-ng-sql-source-1.5.2.jar，mysql-connector-java.jar

2019-10-21

libclntsh.so.11.1

你是否还在为报错sqlplus: error while loading shared libraries: libclntsh.so.11.1: cannot open shared object file: No such file or directory而犯愁，不用犯愁了，赶紧下载吧！

2019-08-01

linux.x64_11gR2_database Centos6.5 Oracle11g

Centos6.5 离线安装 Oracle11g 所需安装包，共两个，全部解压即可使用。

2019-08-01

Centos6.5-Oracle11g离线安装所需依赖rpm包.zip

CentOS6.5 linux.x64_11gR2_database Oracle11g 离线安装所需的所有依赖包，亲测可用。

2019-08-01

cats_and_dogs_filtered.zip

摘自Kaggle上的“狗vs猫”数据集25000张图片中的3000张图片，包含训练集2000张（猫狗各一千）、验证集1000张（猫狗各五百）

2019-05-28

fashion-mnist.zip

fashion mnist数据集，有T恤、短靴等10个类别图像，每张图片为28*28像素的灰阶图像，共70000张图像。使用见：https://drguo.blog.csdn.net/article/details/89337427

2019-05-28

jdata_product.csv

2019京东JDATA算法大赛（用户对品类下店铺的购买预测）商品表，比赛总结：https://drguo.blog.csdn.net/article/details/90514911。其余数据下载：https://pan.baidu.com/s/1mQf-haFZP38er7FMDxpQWg 提取码：mxlo

2019-05-27

ambari离线安装solr所需文件

解压后可以获得solr.tgz和SOLR-github文件夹，具体使用方法请看我置顶博客 blog.csdn.net/dr_guo

2018-09-05

mysql离线安装rpm包

MySQL及依赖 rpm包，含MySQL-client-5.6.31-1.el6.x86_64.rpm、MySQL-devel-5.6.31-1.el6.x86_64.rpm、MySQL-server-5.6.31-1.el6.x86_64.rpm、net-tools-2.0-0.22.20131004git.el7.x86_64.rpm、mysql-connector-java-5.1.39.jar、mysql-connector-odbc-5.3.6-linux-el6-x86-64bit.tar.gz

2018-07-05

ntp离线安装rpm包

NTP及依赖rpm包，含autogen-libopts-5.18-5.el7.x86_64.rpm、ntp-4.2.6p5-18.el7.centos.x86_64.rpm、ntpdate-4.2.6p5-18.el7.centos.x86_64.rpm

2018-07-05

iris(鸢尾花卉)数据集-二分类

该数据集只保留了原来iris(鸢尾花卉)数据集3个类virginica，versicolor和setosa中的versicolor和setosa，并将versicolor用0.0表示，setosa用1.0表示。每类50个样本；每个样本是一个4维的特征向量,萼片长，萼片宽，花瓣长，花瓣宽；

2017-08-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人