- 博客(634)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 spark job一直显示Application report
[2016-12-02T15:08:15.746+08:00] [DataProcessing] [INFO] [] [org.apache.spark.Logging$class] [tid:main] [userID:bdd] Application report for application_1480655448296_0002 (state: ACCEPTED)增大内存，可以使用spar
2016-12-02 15:09:07
3720
原创 cdh5.8 重装
a.删除Agent节点 # rm -rf /opt/cm-5.8.3/lib/cloudera-scm-agent/*b.清空主节点CM数据库 进入主节点的Mysql数据库，然后drop database cm;c. 删除Agent节点namenode和datanode节点信息 # rm -rf /opt/dfs/nn/* # rm -rf /opt/dfs/
2016-11-26 17:28:33
1738
原创 ubuntu14.04 sudo免密码
cd /etc/sudoers.dtouch nopasswd4sudovi nopasswd4sudo 用户名 ALL=(ALL) NOPASSWD : ALL
2016-11-22 21:43:38
3038
原创 hiveserver2 CDH5.7.1
hiveserver2 CDH5.7.1在jdk1.8上无法启动，需要降到1.7或着升级到cdh5.8.3
2016-11-22 20:23:21
1044
原创 ubuntu14.04 on T460 thinkpad, wifi doesn't work
ubuntu14.04:sudo apt-get install linux-generic-lts-wilyubuntu15.10:wget http://mirrors.kernel.org/ubuntu/pool/main/l/linux-firmware/linux-firmware_1.156_all.debsudo dpkg -i linux-firmware_1.156_all.d
2016-11-16 10:02:17
1367
原创 Hue Django 服务启动增加外网访问
HUE使用Django开发，在启动时，执行$/opt/hue-3.11/build/env/bin$ ./hue runserver 默认是打开127.0.0.1:8000的访问使用下面的语句打开所有ip访问$/opt/hue-3.11/build/env/bin$ ./hue runserver 0.0.0.0:8000
2016-10-02 07:54:31
2646
原创 64bit Ubuntu16.04LTS找不到libgtk-x11-2.0.so
找不到libgtk-x11-2.0.so缺少的使32bit的库。下面的安装已经不存在了sudo apt-get install ia32-libs ia32-libs-gtk使用这个安装sudo apt-get install libgtk2.0-0:i386
2016-09-24 17:42:33
1436
转载 sqoop-1.4.6使用指南
1. sqoop-1.4.6.jar第一步先将sqoop jar包拷贝至Hadoop的mapreduce目录下：cp $SQOOP_HOME/sqoop-1.4.6.jar $HADOOP/share/hadoop/mapreduce/2. JDBC jar包第二步将Oracle和MySQL分别需要用到的jar包拷贝至$SQOOP_HOME/lib下cp ojdbc6.jar $SQOOP_HOM
2016-09-13 20:13:00
3785
原创 sqoop1.4.2 从Oracle装载数据到HDFS
如果需要创建hive表的话，则执行sqoop的机器需要可以直接执行hive。sqoop import --connect jdbc:oracle:thin:@//192.168.1.222:1521/orcl --username ss -password ss --table ABTABLE --hive-import --hive-database default --create-hive-
2016-09-13 20:11:50
570
原创 hive1.2启动报错jline
[ERROR] Terminal initialization failed; falling back to unsupportedjava.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected解决办法：cp /opt/apache-hive-1.2.0/lib/jlin
2016-09-12 18:45:04
681
原创 sqoop2写入hdfs报错
1.Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot delete /output/.aa5fadaa-873e-4b6e-aa7c-42302c5f8452. Name node is in safe mode.关闭h
2016-09-12 17:31:40
1093
原创 sqoop2启动问题
1.修改配置文件中的@LOGDIR@和@BASEDIR@sqoop.properties使用真实的目录替换，否则derby启动会失败2.sqoop2-tool verify校验失败，检查sqoop.properties 中的hadoop 配置文件路经是否出错。查看日志，配置正确的路径/opt/hadoop/etc/hadoop之类
2016-09-08 23:14:07
2353
原创 增加spark worker的内存和datanode的内存方法
spark:$SPARK_HOME/conf/spark-env.sh修改SPARK_WORKER_MEMORY=4ghadoop$HADOOP_HOME/etc/hadoop/hadoop-env.sh修改增加export HADOOP_HEAPSIZE=8192
2016-09-08 22:43:39
3050
转载 spark 集群部署可用方法
写在前面一： 本文详细总结Spark分布式集群的安装步骤，帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。 写在前面二： 使用软件说明 约定，Spark相关软件存放目录： /usr/local/yujianxin/spark， Hadoop 相关软件存放目录： /home/yujianxin/hadoop。 Spark集群示意图 一、具体安装步骤 1、安装jdk 2、安
2016-09-03 19:43:35
489
转载 可用的hadoop集群安装文档
本教程讲述如何配置 Hadoop 集群，默认读者已经掌握了 Hadoop 的单机伪分布式配置，否则请先查看Hadoop安装教程_单机/伪分布式配置 或 CentOS安装Hadoop_单机/伪分布式配置。本教程适合于原生 Hadoop 2，包括 Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，保证按照步骤来，都能顺利安装并运行 Hadoo
2016-09-03 09:30:14
923
转载 安装Hadoop及Spark for Ubuntu 16.04
安装JDK下载jdk(以jdk-8u91-linux-x64.tar.gz为例)新建文件夹sudo mkdir /usr/lib/jvm解压下载的jdk文件并移动到新建的文件夹下sudo tar -xzvf jdk-8u91-linux-x64.tar.gz -C /usr/lib/jvm进入jvm文件夹并重命名解压出来的文件夹cd /usr/lib/jvmsudo mv jdk1.8.0_
2016-08-18 22:41:27
4693
原创 Xshell 连接ubuntu16.04下的OpenSSH报错
putty连接没有问题xshell报错No matching outgoing encryption，没有匹配的算法
2016-08-18 14:59:49
4510
1
原创 TDE on Oracle10.2.0.4
安装配置TDE1、 确定你的版本信息TDE是Oracle10gR2中推出的一个新功能，所以在规划使用TDE的时候，要保证你的Oracle版本是在10gR2或者以上。下面是笔者测试SQL> select * from v$version;BANNER---------------------------------------------------------------Oracle Databa
2016-07-31 09:03:32
999
原创 hadoop(2)
性能调优点：1.考虑关闭THP2.将可能存在单点的节点放在一起，提供冗余3.ulimit文件打开限制limits.conf4.内存overcommit，50%小5.ACPI关闭6.充足的内存7.合理的HDFS blocksize，默认推荐128M8.dfs.replication，复制数量9.datanode的可用磁盘空间，单独分区10.考虑dfs的权限分配
2016-07-02 10:55:28
3869
原创 Hadoop(1)
常见问题:1.ResourceManager不能为0.0.0.0，见wiki，如果有这种情况可以设置yarn-site.xml yarn.resourcemanager.address master:8032 yarn.resourcemanager.scheduler.address master:8030 yar
2016-07-01 10:29:29
3952
转载 Spark(1)
本文将介绍Apache Spark 1.6.0在单机的部署，与在集群中部署的步骤基本一致，只是少了一些master和slave文件的配置。直接安装scala与Spark就可以在单机使用，但如果用到hdfs系统的话hadoop和jdk也要配置，建议全部安装配置好。我的博客原文地址链接：http://blog.tomgou.xyz/spark-160-dan-ji-an-zhuang-pei-zhi.
2016-06-29 14:27:53
3274
原创 MySQL(10) -- Fabric
搭建了基于Fabric的高可用性测试平台，最终的结论是Fabric的使用比传统的商业软件如ADG要差很多。1.一个标记位"faulty"状态的服务器不能提升为secondary或primary，需要先转换成"spare"状态。使用命令mysqlfabric server set_status spare2.fabric本身也是单点故障3.GTID复制受限4.操作过程出现莫名错误
2016-06-06 17:06:35
2056
原创 在同一台机器上源码安装第二个mysql
接源码安装部分，将路径更换，端口更换cmake . -DDOWNLOAD_BOOST=1 -DWITH_BOOST=/opt/mysql3307/software/mysql-5.7.11/boost -DCMAKE_INSTALL_PREFIX=/opt/mysql3307/software -DMYSQL_DATADIR=/opt/mysql3307/data -DSYSCONFDIR=/op
2016-05-23 21:53:19
5519
原创 MySQL(9) -- Cluster NDB使用
如果表要在cluster中复制，必须使用NDBCLUSTER引擎，ENGINE=NDB或ENGINE=NDBCLUSTER
2016-04-21 11:39:09
6435
原创 MySQL(5)-docker中安装和使用
#yum install docker-engine# useradd dockerdocker$ docker pull wonder4/centos$docker run -it wonder4/centosroot# yum install sudoroot# useradd mysql
2016-04-06 12:54:09
3930
原创 MySQL(4)
MySQL5.7.11默认是打开autocommit的mysql> show variables like '%commit%';+-----------------------------------------+-------+| Variable_name | Value |+--------------------------------
2016-04-06 12:35:20
3140
3
原创 MySQL(3)-MySQL Workbench
远程连接mysql不上，CentOS7下的防火墙关闭命令，别光看iptables的状态。# systemctl stop firewalld# systemctl mask firewalld 禁用----------------------SQLDeveloper可以设置连接mysql，在工具->添加第三方jdbc驱动后即可看到mysql连接设置页
2016-04-06 11:12:41
2993
2
原创 MySQL(2)--源码安装
源码方式安装MySQL5.7.11下载源码：http://dev.mysql.com/downloads/mysql/最下面两项参考安装文档：http://dev.mysql.com/doc/refman/5.7/en/installing-source-distribution.html安装问题：your C compiler: "CMAKE_C_COMPILER-NOTFOUND" was n
2016-04-05 13:23:25
2832
1
原创 MySQL(1)
CentOS7 MySQL安装后出现问题，systemctl start mysqld.service提示mysql Failed to execute operation: No such file or directory解决办法：删除掉原安装的mysql，重新安装。yum earse mysql，删除/etc/my.cnf1.将mysql57-community-release-el7-7.
2016-04-02 23:50:50
2121
2
原创 docker(2)
docker hub非常不稳定，image需要反复push多次才可以传成功，如果可能，可以在本地搭建一个docker的私有hub，以便极大的提高效率，保证安全。docker hub只能创建一个private的repository，更多需要收费。$ docker push wonder/centos ，命令不需要先在docker hub中创建repository，push的时候会自动创建好可
2016-03-28 22:55:03
1155
1
原创 Docker(1)
今天开始了解Docker，CentOS7，yum方式安装Dockerdocker$ sudo yum update添加源$ cat >/etc/yum.repos.d/docker.repo [docker_repo]name=Docker Repositorybaseurl=https://yum.dockerproject.org/repo/main/centos/7 enabled=1
2016-03-20 11:21:49
1679
原创 OpenStack(7)-了解stack.sh
stack.sh给出了一个非常好的例子，关于学习openstack创建 1.检查devstack文件，检查bash4.2以上，检查用户，不能是root2.准备环境，导入函数3.检查local.conf和localrc是否都存在，如果存在使用localrc4.检查是否已经运行devstack5.代理设置和禁用无效服务6.配置sudo7.配置distro库8.配置目标目录，创建目标目录9.配置主机、日
2016-03-18 13:55:21
1741
原创 OpenStack(6) - 使用CLI
安装devstack后，如果没有设置参数，执行openstack命令是不成功的。1.登录到horizon页面，使用admin登入，进入project->compute-> Access&Security -> API Access，记录下Service Endpoint。或选择download OpenStack RC File按钮，下载demo-openrc.sh文件2.将demo-openrc
2016-03-18 13:16:51
2252
1
java duck 屏幕保护程序
2011-07-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人