Hadoop相关
文章平均质量分 80
q383700092
J2EE,机器学习,Hadoop,Spark,时间序列分析
展开
-
Hadoop2.6 全分布式安装,配置了联邦
Hadoop全分布式安装2.6 共4台机器hadoop01 namenode zookeeper zkfc(zookeeper failover controller)hadoop02 namenode datanode zookeeper journalnode zkfchadoop03原创 2016-03-29 17:26:33 · 943 阅读 · 0 评论 -
hive与hbase整合
hive与hbase整合 hive操作hbase 整合hive与hbase的过程如下1.将文件/opt/modules/hbase-0.98.15-hadoop1/lib/hbase-0.90.4.jar 与/opt/modules/hbase-0.98.15-hadoop1/lib/zookeeper-3.4.6.jar拷贝到/opt/modules/hive-1.0.1/l原创 2016-03-31 16:10:54 · 617 阅读 · 0 评论 -
Mahout安装
tar -zxvf /opt/softwares/mahout-distribution-0.9.tar.gz -C /opt/modules//opt/modules/mahout-distribution-0.9配置Mahout环境变量# set mahout environmentexport MAHOUT_HOME=/opt/modules/mahout-distr原创 2016-04-05 17:46:22 · 401 阅读 · 0 评论 -
Pig安装与简单说明
Pig安装tar -zxvf pig-0.13.0.tar.gz -C /opt/modules/vi /etc/profileexport PIG_HOME=/opt/modules/pig-0.13.0export PATH=$PATH:$PIG_HOME/bin编辑文件$PIG_HOME/conf/pig.properties,增加两行如下内容fs.default.n原创 2016-04-05 17:54:02 · 549 阅读 · 0 评论 -
Sqoop安装与学习
Sqoop安装与学习下载sqoop及mysqlconnector并解压tar -zxvf sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz -C /opt/modules/cp mysql-connector-java-5.1.37-bin.jar /opt/modules/sqoop-1.4.6.bin__hadoop-1.0.0/lib/修改bin目录下原创 2016-04-06 17:34:45 · 591 阅读 · 0 评论 -
利用web的curl命令进行HDFS操作
web HDFS操作hdfs-site.xml dfs.webhdfs.enabled true 访问namenode的hdfs使用50070端口,访问datanode的webhdfs使用50075端口。访问文件、文件夹信息使用namenode的IP和50070端口,访问文件内容或者进行打开、上传、修改、下载等操作使用datanode的IP和50075端口http:原创 2016-04-07 08:32:24 · 3433 阅读 · 1 评论 -
Zookeeper伪分布式安装
Zookeeper伪分布式安装 伪分布式集群” 就是在一台PC中,启动多个ZooKeeper的实例tar -zxvf zookeeper-3.4.6.tar.gz -C /opt/modules/修改配置文件conf/zoo.cfgmkdir /home/zookeeper/zookeeper01修改数据存放目录,端口cp /opt/modules/zookeeper-3.4原创 2016-04-07 08:34:08 · 636 阅读 · 0 评论 -
贝叶斯公式与mahout贝叶斯分类器
贝叶斯公式与贝叶斯分类器贝叶斯定理之所以有用,是因为我们在生活中经常遇到这种情况:我们可以很容易直接得出P(A|B),P(B|A)则很难直接得出,但我们更关心P(B|A),贝叶斯定理就为我们打通从P(A|B)获得P(B|A)的道路L(A|B)是在B发生的情况下A发生的可能性Pr(A|B)是已知B发生后A的条件概率,也由于得自B的取值而被称作A的后验概率。当前几个主要的Lucen原创 2016-04-07 08:35:07 · 620 阅读 · 0 评论 -
编译hadoop2.6
系统:CentOs6.5_64 在root用户下,必须能联网,1.操作系统编译环境yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst参考yum install glibc-headers yum inst原创 2016-04-07 08:37:44 · 577 阅读 · 0 评论 -
hadoop参数优化,Mapreduce程序优化,减少运算时间
主要集中在两个方面:一是计算性能方面的优化;二是I/O操作方面的优化1. 任务调度 所有的任务能公平地分享系统资源2. 数据预处理与InputSplit的大小合理地设置block块大小 dfs.block.size 默认值是67108864 (64MB)。对于很多情况来说,134217728 (128MB)更加合适可以使用这个命令去修改已存在文件的block size: had原创 2016-04-08 17:20:22 · 2248 阅读 · 0 评论 -
利用hive完成阿里天池大数据音乐预测比赛数据处理工作
hive shell创建外表,指定目录CREATE EXTERNAL TABLE IF NOT EXISTS songs2 (sid string,aid string,ptime string,sinit int,language int,gender int) COMMENT 'This is the staging page view table'原创 2016-04-11 19:32:42 · 2195 阅读 · 0 评论 -
hive命令学习
Hive学习默认日志地址 /tmp/root(用户名)/hive.loghive -hiveconf hive.root.logger=DEBUG,console //重启调试。HIVE 基本操作 hive shell 新建表line_name,deal_yymmdd,deal_hh,count线路10,20150101,06,714线路10,20150101,07原创 2016-03-31 16:09:49 · 546 阅读 · 0 评论 -
hive安装
tar -zxvf /opt/softwares/apache-hive-1.0.1-bin.tar.gz -C /opt/modules/mv apache-hive-1.0.1-bin /opt/modules/hive-1.0.1vi /etc/profileexport HIVE_HOME=/opt/modules/hive-1.0.1export CLASSPA原创 2016-03-31 16:08:20 · 352 阅读 · 0 评论 -
Hbase学习,命令
Hbase学习 启动./start-hbase.sh $hbase shell #启动hbase shell 光标在哪里删除键删哪里 退出shell exit创建表 create '表名称', '列名称1','列名称2','列名称N'#创建一个新表studentcreate 'student','info'create 'test','data'create '原创 2016-03-31 16:02:21 · 434 阅读 · 0 评论 -
hadoop2.6伪分布式配置
软件的安装目录:/opt/modules/安装: 0)说明SSH本机免登陆密码ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys1、系统:CentOS 6.4 64位2、关闭防火墙和SELinuxservice iptables s原创 2016-03-31 09:49:50 · 451 阅读 · 0 评论 -
Ambari安装
Hadoop Ambari 安装1、下载repo http://incubator.apache.org/ambari/1.2.4/installing-hadoop-using-ambari/content/ambari-chap9-2.html 根据对应的系统下载相应的repo文件,并按要求拷贝到/etc相应的目录下2、安装epel仓库 yum i原创 2016-03-31 09:51:30 · 2092 阅读 · 0 评论 -
chukwa安装配置hadoop集群监控
chukwa安装配置 集群监控tar -zxvf chukwa-0.6.0.tar.gz -C /opt/modules/设置/etc/profile参数vi /etc/profileexport CHUKWA_HOME=/opt/modules/chukwa-0.6.0export CHUKWA_CONF_DIR=$CHUKWA_HOME/etc/chukwaex原创 2016-03-31 09:52:17 · 927 阅读 · 0 评论 -
Flume安装与应用,日志收集保存
flume解压缩 tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /opt/modules/tar -zxvf apache-flume-1.6.0-src.tar.gz -C /opt/modules/src里面文件内容,覆盖解压后bin文件里面的内容cp -ri apache-flume-1.6.0-src/* apache-flume-1原创 2016-03-31 09:54:23 · 1074 阅读 · 0 评论 -
安装Ganglia监控hadoop
Ganglia安装安装Ganglia监控hadoopyum -y install httpd-devel automake autoconf libtool ncurses-devel libxslt groff pcre-devel pkgconfig安装ganglia-gmetad 和 ganglia-webyum search gangliayum -y install原创 2016-03-31 09:55:47 · 633 阅读 · 0 评论 -
hadoop-1.2.1伪分布式安装
service iptables status 关闭防火墙service iptables statusservice iptables stopchkconfig iptables offmore /etc/sysconfig/selinux SELINUX=disabled 禁用SELINUXvim /etc/sysconfig/networks-scripts/i原创 2016-03-31 09:57:02 · 409 阅读 · 0 评论 -
HadoopJob监控
参考http://www.aboutyun.com/thread-7996-1-1.htmlhttp://www.aboutyun.com/thread-1812-1-1.htmlHadoop获取当前正在运作job数量的代码: // 我在这里只有一个Queue,名字叫做default,so,硬编码了。 Configuration con转载 2016-03-31 09:58:05 · 1002 阅读 · 0 评论 -
Hadoop常用笔记shell命令
esc :wq 保存退出 a 修改 ZZ退出 :q!不保存退出pwd 查看路径more 文件名 查看文件cd xxx/ 进入当前目录的xxx下shutdown -h now 关机ifconfig 查看IP等相关信息Ctrl+Alt+F2 切换图像/命令行exit 切换用户 su 切换rootclear 清屏chown -R hadoop:hadoop /原创 2016-03-31 09:59:20 · 876 阅读 · 0 评论 -
hadoop shell命令大全
1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help2、显示关于某个命令的详细信息 $ bin/hadoop fs -help command-name3、用户可使用以下命令在指定路径下查看历史日志汇总 $ bin/hadoop job -history output-dir这条命令会显示作业的细节信息,失败和终止的任务细节。转载 2016-03-31 10:01:08 · 972 阅读 · 0 评论 -
Hbase配置安装
tar -zxvf /opt/softwares/hbase-0.98.15-hadoop1-bin.tar.gz -C /opt/modules/ ctrl+backspace 回退Hbase的语句/etc/profile添加##HBASEexport HBASE_HOME=/opt/modules/hbase-0.98.15-hadoop1export PATH=$原创 2016-03-31 16:01:03 · 432 阅读 · 0 评论 -
博客写的时候很多内容由于图片问题会省略
github地址 https://github.com/lytforgood原创 2016-06-16 16:41:54 · 806 阅读 · 0 评论