- 博客(9)
- 资源 (6)
- 收藏
- 关注
原创 64bit Ubuntu16.04LTS找不到libgtk-x11-2.0.so
找不到libgtk-x11-2.0.so缺少的使32bit的库。下面的安装已经不存在了sudo apt-get install ia32-libs ia32-libs-gtk使用这个安装sudo apt-get install libgtk2.0-0:i386
2016-09-24 17:42:33 1414
转载 sqoop-1.4.6使用指南
1. sqoop-1.4.6.jar第一步先将sqoop jar包拷贝至Hadoop的mapreduce目录下:cp $SQOOP_HOME/sqoop-1.4.6.jar $HADOOP/share/hadoop/mapreduce/2. JDBC jar包第二步将Oracle和MySQL分别需要用到的jar包拷贝至$SQOOP_HOME/lib下cp ojdbc6.jar $SQOOP_HOM
2016-09-13 20:13:00 3754
原创 sqoop1.4.2 从Oracle装载数据到HDFS
如果需要创建hive表的话,则执行sqoop的机器需要可以直接执行hive。sqoop import --connect jdbc:oracle:thin:@//192.168.1.222:1521/orcl --username ss -password ss --table ABTABLE --hive-import --hive-database default --create-hive-
2016-09-13 20:11:50 558
原创 hive1.2启动报错jline
[ERROR] Terminal initialization failed; falling back to unsupportedjava.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected解决办法:cp /opt/apache-hive-1.2.0/lib/jlin
2016-09-12 18:45:04 665
原创 sqoop2写入hdfs报错
1.Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot delete /output/.aa5fadaa-873e-4b6e-aa7c-42302c5f8452. Name node is in safe mode.关闭h
2016-09-12 17:31:40 1065
原创 sqoop2启动问题
1.修改配置文件中的@LOGDIR@和@BASEDIR@sqoop.properties使用真实的目录替换,否则derby启动会失败2.sqoop2-tool verify校验失败,检查sqoop.properties 中的hadoop 配置文件路经是否出错。查看日志,配置正确的路径/opt/hadoop/etc/hadoop之类
2016-09-08 23:14:07 2326
原创 增加spark worker的内存和datanode的内存方法
spark:$SPARK_HOME/conf/spark-env.sh修改SPARK_WORKER_MEMORY=4ghadoop$HADOOP_HOME/etc/hadoop/hadoop-env.sh修改增加export HADOOP_HEAPSIZE=8192
2016-09-08 22:43:39 3019
转载 spark 集群部署可用方法
写在前面一: 本文详细总结Spark分布式集群的安装步骤,帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。 写在前面二: 使用软件说明 约定,Spark相关软件存放目录: /usr/local/yujianxin/spark, Hadoop 相关软件存放目录: /home/yujianxin/hadoop。 Spark集群示意图 一、具体安装步骤 1、安装jdk 2、安
2016-09-03 19:43:35 477
转载 可用的hadoop集群安装文档
本教程讲述如何配置 Hadoop 集群,默认读者已经掌握了 Hadoop 的单机伪分布式配置,否则请先查看Hadoop安装教程_单机/伪分布式配置 或 CentOS安装Hadoop_单机/伪分布式配置。本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hadoop 2.7.1 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,保证按照步骤来,都能顺利安装并运行 Hadoo
2016-09-03 09:30:14 908
java duck 屏幕保护程序
2011-07-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人