- 博客(634)
- 资源 (5)
- 收藏
- 关注
原创 spark job一直显示Application report
[2016-12-02T15:08:15.746+08:00] [DataProcessing] [INFO] [] [org.apache.spark.Logging$class] [tid:main] [userID:bdd] Application report for application_1480655448296_0002 (state: ACCEPTED)增大内存,可以使用spar
2016-12-02 15:09:07 3720
原创 cdh5.8 重装
a.删除Agent节点 # rm -rf /opt/cm-5.8.3/lib/cloudera-scm-agent/*b.清空主节点CM数据库 进入主节点的Mysql数据库,然后drop database cm;c. 删除Agent节点namenode和datanode节点信息 # rm -rf /opt/dfs/nn/* # rm -rf /opt/dfs/
2016-11-26 17:28:33 1738
原创 ubuntu14.04 sudo免密码
cd /etc/sudoers.dtouch nopasswd4sudovi nopasswd4sudo 用户名 ALL=(ALL) NOPASSWD : ALL
2016-11-22 21:43:38 3038
原创 hiveserver2 CDH5.7.1
hiveserver2 CDH5.7.1在jdk1.8上无法启动,需要降到1.7或着升级到cdh5.8.3
2016-11-22 20:23:21 1044
原创 ubuntu14.04 on T460 thinkpad, wifi doesn't work
ubuntu14.04:sudo apt-get install linux-generic-lts-wilyubuntu15.10:wget http://mirrors.kernel.org/ubuntu/pool/main/l/linux-firmware/linux-firmware_1.156_all.debsudo dpkg -i linux-firmware_1.156_all.d
2016-11-16 10:02:17 1367
原创 Hue Django 服务启动增加外网访问
HUE使用Django开发,在启动时,执行$/opt/hue-3.11/build/env/bin$ ./hue runserver 默认是打开127.0.0.1:8000的访问使用下面的语句打开所有ip访问$/opt/hue-3.11/build/env/bin$ ./hue runserver 0.0.0.0:8000
2016-10-02 07:54:31 2646
原创 64bit Ubuntu16.04LTS找不到libgtk-x11-2.0.so
找不到libgtk-x11-2.0.so缺少的使32bit的库。下面的安装已经不存在了sudo apt-get install ia32-libs ia32-libs-gtk使用这个安装sudo apt-get install libgtk2.0-0:i386
2016-09-24 17:42:33 1436
转载 sqoop-1.4.6使用指南
1. sqoop-1.4.6.jar第一步先将sqoop jar包拷贝至Hadoop的mapreduce目录下:cp $SQOOP_HOME/sqoop-1.4.6.jar $HADOOP/share/hadoop/mapreduce/2. JDBC jar包第二步将Oracle和MySQL分别需要用到的jar包拷贝至$SQOOP_HOME/lib下cp ojdbc6.jar $SQOOP_HOM
2016-09-13 20:13:00 3785
原创 sqoop1.4.2 从Oracle装载数据到HDFS
如果需要创建hive表的话,则执行sqoop的机器需要可以直接执行hive。sqoop import --connect jdbc:oracle:thin:@//192.168.1.222:1521/orcl --username ss -password ss --table ABTABLE --hive-import --hive-database default --create-hive-
2016-09-13 20:11:50 570
原创 hive1.2启动报错jline
[ERROR] Terminal initialization failed; falling back to unsupportedjava.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected解决办法:cp /opt/apache-hive-1.2.0/lib/jlin
2016-09-12 18:45:04 681
原创 sqoop2写入hdfs报错
1.Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot delete /output/.aa5fadaa-873e-4b6e-aa7c-42302c5f8452. Name node is in safe mode.关闭h
2016-09-12 17:31:40 1093
原创 sqoop2启动问题
1.修改配置文件中的@LOGDIR@和@BASEDIR@sqoop.properties使用真实的目录替换,否则derby启动会失败2.sqoop2-tool verify校验失败,检查sqoop.properties 中的hadoop 配置文件路经是否出错。查看日志,配置正确的路径/opt/hadoop/etc/hadoop之类
2016-09-08 23:14:07 2353
原创 增加spark worker的内存和datanode的内存方法
spark:$SPARK_HOME/conf/spark-env.sh修改SPARK_WORKER_MEMORY=4ghadoop$HADOOP_HOME/etc/hadoop/hadoop-env.sh修改增加export HADOOP_HEAPSIZE=8192
2016-09-08 22:43:39 3050
转载 spark 集群部署可用方法
写在前面一: 本文详细总结Spark分布式集群的安装步骤,帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。 写在前面二: 使用软件说明 约定,Spark相关软件存放目录: /usr/local/yujianxin/spark, Hadoop 相关软件存放目录: /home/yujianxin/hadoop。 Spark集群示意图 一、具体安装步骤 1、安装jdk 2、安
2016-09-03 19:43:35 489
转载 可用的hadoop集群安装文档
本教程讲述如何配置 Hadoop 集群,默认读者已经掌握了 Hadoop 的单机伪分布式配置,否则请先查看Hadoop安装教程_单机/伪分布式配置 或 CentOS安装Hadoop_单机/伪分布式配置。本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hadoop 2.7.1 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,保证按照步骤来,都能顺利安装并运行 Hadoo
2016-09-03 09:30:14 923
转载 安装Hadoop及Spark for Ubuntu 16.04
安装JDK下载jdk(以jdk-8u91-linux-x64.tar.gz为例)新建文件夹sudo mkdir /usr/lib/jvm解压下载的jdk文件并移动到新建的文件夹下sudo tar -xzvf jdk-8u91-linux-x64.tar.gz -C /usr/lib/jvm进入jvm文件夹并重命名解压出来的文件夹cd /usr/lib/jvmsudo mv jdk1.8.0_
2016-08-18 22:41:27 4693
原创 Xshell 连接ubuntu16.04下的OpenSSH报错
putty连接没有问题xshell报错No matching outgoing encryption,没有匹配的算法
2016-08-18 14:59:49 4510 1
原创 TDE on Oracle10.2.0.4
安装配置TDE1、 确定你的版本信息TDE是Oracle10gR2中推出的一个新功能,所以在规划使用TDE的时候,要保证你的Oracle版本是在10gR2或者以上。下面是笔者测试SQL> select * from v$version;BANNER---------------------------------------------------------------Oracle Databa
2016-07-31 09:03:32 999
原创 hadoop(2)
性能调优点:1.考虑关闭THP2.将可能存在单点的节点放在一起,提供冗余3.ulimit文件打开限制limits.conf4.内存overcommit,50%小5.ACPI关闭6.充足的内存7.合理的HDFS blocksize,默认推荐128M8.dfs.replication,复制数量9.datanode的可用磁盘空间,单独分区10.考虑dfs的权限分配
2016-07-02 10:55:28 3869
原创 Hadoop(1)
常见问题:1.ResourceManager不能为0.0.0.0,见wiki,如果有这种情况可以设置yarn-site.xml yarn.resourcemanager.address master:8032 yarn.resourcemanager.scheduler.address master:8030 yar
2016-07-01 10:29:29 3952
转载 Spark(1)
本文将介绍Apache Spark 1.6.0在单机的部署,与在集群中部署的步骤基本一致,只是少了一些master和slave文件的配置。直接安装scala与Spark就可以在单机使用,但如果用到hdfs系统的话hadoop和jdk也要配置,建议全部安装配置好。我的博客原文地址链接:http://blog.tomgou.xyz/spark-160-dan-ji-an-zhuang-pei-zhi.
2016-06-29 14:27:53 3274
原创 MySQL(10) -- Fabric
搭建了基于Fabric的高可用性测试平台,最终的结论是Fabric的使用比传统的商业软件如ADG要差很多。1.一个标记位"faulty"状态的服务器不能提升为secondary或primary,需要先转换成"spare"状态。使用命令mysqlfabric server set_status spare2.fabric本身也是单点故障3.GTID复制受限4.操作过程出现莫名错误
2016-06-06 17:06:35 2056
原创 在同一台机器上源码安装第二个mysql
接源码安装部分,将路径更换,端口更换cmake . -DDOWNLOAD_BOOST=1 -DWITH_BOOST=/opt/mysql3307/software/mysql-5.7.11/boost -DCMAKE_INSTALL_PREFIX=/opt/mysql3307/software -DMYSQL_DATADIR=/opt/mysql3307/data -DSYSCONFDIR=/op
2016-05-23 21:53:19 5519
原创 MySQL(9) -- Cluster NDB使用
如果表要在cluster中复制,必须使用NDBCLUSTER引擎,ENGINE=NDB或ENGINE=NDBCLUSTER
2016-04-21 11:39:09 6435
原创 MySQL(5)-docker中安装和使用
#yum install docker-engine# useradd dockerdocker$ docker pull wonder4/centos$docker run -it wonder4/centosroot# yum install sudoroot# useradd mysql
2016-04-06 12:54:09 3930
原创 MySQL(4)
MySQL5.7.11默认是打开autocommit的mysql> show variables like '%commit%';+-----------------------------------------+-------+| Variable_name | Value |+--------------------------------
2016-04-06 12:35:20 3140 3
原创 MySQL(3)-MySQL Workbench
远程连接mysql不上,CentOS7下的防火墙关闭命令,别光看iptables的状态。# systemctl stop firewalld# systemctl mask firewalld 禁用----------------------SQLDeveloper可以设置连接mysql,在工具->添加第三方jdbc驱动后即可看到mysql连接设置页
2016-04-06 11:12:41 2993 2
原创 MySQL(2)--源码安装
源码方式安装MySQL5.7.11下载源码:http://dev.mysql.com/downloads/mysql/最下面两项参考安装文档:http://dev.mysql.com/doc/refman/5.7/en/installing-source-distribution.html安装问题:your C compiler: "CMAKE_C_COMPILER-NOTFOUND" was n
2016-04-05 13:23:25 2832 1
原创 MySQL(1)
CentOS7 MySQL安装后出现问题,systemctl start mysqld.service提示mysql Failed to execute operation: No such file or directory解决办法:删除掉原安装的mysql,重新安装。yum earse mysql,删除/etc/my.cnf1.将mysql57-community-release-el7-7.
2016-04-02 23:50:50 2121 2
原创 docker(2)
docker hub非常不稳定,image需要反复push多次才可以传成功,如果可能,可以在本地搭建一个docker的私有hub,以便极大的提高效率,保证安全。docker hub只能创建一个private的repository,更多需要收费。$ docker push wonder/centos ,命令不需要先在docker hub中创建repository,push的时候会自动创建好可
2016-03-28 22:55:03 1155 1
原创 Docker(1)
今天开始了解Docker,CentOS7,yum方式安装Dockerdocker$ sudo yum update添加源$ cat >/etc/yum.repos.d/docker.repo [docker_repo]name=Docker Repositorybaseurl=https://yum.dockerproject.org/repo/main/centos/7 enabled=1
2016-03-20 11:21:49 1679
原创 OpenStack(7)-了解stack.sh
stack.sh给出了一个非常好的例子,关于学习openstack创建 1.检查devstack文件,检查bash4.2以上,检查用户,不能是root2.准备环境,导入函数3.检查local.conf和localrc是否都存在,如果存在使用localrc4.检查是否已经运行devstack5.代理设置和禁用无效服务6.配置sudo7.配置distro库8.配置目标目录,创建目标目录9.配置主机、日
2016-03-18 13:55:21 1741
原创 OpenStack(6) - 使用CLI
安装devstack后,如果没有设置参数,执行openstack命令是不成功的。1.登录到horizon页面,使用admin登入,进入project->compute-> Access&Security -> API Access,记录下Service Endpoint。或选择download OpenStack RC File按钮,下载demo-openrc.sh文件2.将demo-openrc
2016-03-18 13:16:51 2252 1
java duck 屏幕保护程序
2011-07-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人