![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Linux_hadoop
文章平均质量分 65
xuejingfu1
这个作者很懒,什么都没留下…
展开
-
问题解决——VM虚拟机克隆后网卡启动不起来device eth0 does not seem to be present, delaying initialization
1、vi /etc/sysconfig/network-scripts/ifcfg-eth0ifcfg-eth0的配置文件里保存了以前的MAC地址,就把这一行删除掉在重启网卡2、/etc/udev/rules.d/70-persistent-net.rules 删除后重启机器因为这个文件绑定了网卡和mac地址,所以换了网卡以后MAC地址变了,所以不能正常启动,也可以直接原创 2016-08-19 18:45:12 · 459 阅读 · 0 评论 -
linux几种快速清空文件内容的方法 、删除部分内容的方法
清空文件内容的方法:1. $ : > filename #其中的 : 是一个占位符, 不产生任何输出.2. $ > filename3. $ echo “” > filename4. $ echo /dev/null > filename5. $ echo > filename6. $ cat /dev/null > filename原创 2016-08-25 13:29:38 · 17018 阅读 · 0 评论 -
利用MapReduce的java编程接口完成数据的统计
假设有如下数据,第0列是时间,第1列是电话号码,第8列是上行流量,第9列是下行流量1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 2001363157995052 13826544101 5C-0E-8B-C7-F1-E0:CMCC 120原创 2016-08-13 11:41:39 · 3660 阅读 · 0 评论 -
解决问题——SQLyog连接报错:Host ''xxx.xx.xxx.xxx'' is not allowed to connect to this MySQL server
登录mysql 并进入shell后:(执行下面的语句 *.*:所有库下的所有表 %:任何IP地址或主机都可以连接)GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '这里写你的mysql密码' WITH GRANT OPTION;FLUSH PRIVILEGES;原创 2016-08-25 00:20:19 · 2991 阅读 · 0 评论 -
Hive问题总结
1.java.sql.SQLException: null, message from server: "Host '***' is not allowed to connect to this *** server"第一个***是你的主机名(linux),后面的***表示你所连接的数据库服务器名称,可能是MySQL.这个错误的意思是主机***没有访问***数据库服务器的权限原创 2016-09-05 20:14:38 · 10724 阅读 · 1 评论 -
Hive常用命令总结
1.建表#建表(默认是内部表)create table trade_detail(id bigint, account string, income double, expenses double, time string) row format delimited fields terminated by '\t';#建分区表#普通表和分区表区别:有大量数据增加的需要建分区表cr原创 2016-09-05 20:47:01 · 11332 阅读 · 0 评论 -
Hadoop集群搭建
前提:linux上已安装jdk,如果没有请点击此链接查看快速安装教程1.第一步,新建文件夹mkdir /cloudcd /cloud2.上传hadoop压缩包rz 3.解压到当前文件夹tar -zxvf hadoop-2.7.2.tar.gz4.配置环境变量vi /etc/profile 在末尾更改如下:export JAVA_HOME=/usr/l原创 2016-08-10 09:52:55 · 395 阅读 · 0 评论 -
深入学习Hadoop之第一篇——HDFS架构解析
HDFS:Hadoop distributed file system,Hadoop的分布式文件系统;图1 HDFS架构图HDFS是一个主从架构(master/slave),namenode被称作master,datanode被称作slave;master管理整个HDFS的命名空间namespace以及控制客户端对文件的存取;一个Hadoop集群中,即一个HDF原创 2016-09-16 10:04:40 · 1391 阅读 · 0 评论 -
深入学习Hadoop之第二篇——MapReduce
概念:MapReduce是一种数据处理的编程模型一、Map1.数据流:一个MapReduce job是客户端所执行的work的单元,它包括:输入数据、MapReduce程序以及配置信息;Hadoop把MapReduce job分割为更小的tasks(map tasks和reduce tasks)来执行,这些tasks被YARN调度在集群节点上执行;如果一个task失败了,它原创 2016-10-12 21:51:25 · 488 阅读 · 0 评论 -
解决问题——VMware 虚拟机从hostonly模式切换到NAT模式连不上网
尝试修改了/etc/sysconfig/network-scripts/ifcfg-eth0文件,启用了DHCP,删除了配置的ip,又将虚拟机的设置中把其切换到NAT模式,并重启了虚拟机、网卡;此时,却依然连不上外网。下面给出一种简单无脑操作却十分高效的方法:进入VMware,关掉虚拟机, 右键点击虚拟机,设置 选择网络适配器,点击自定义,找到v原创 2016-08-24 23:27:44 · 2342 阅读 · 0 评论 -
CentOS更改yum源与更新系统
转载自:http://www.cnblogs.com/lightnear/archive/2012/10/03/2710952.html[1] 首先备份/etc/yum.repos.d/CentOS-Base.repomv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup转载 2016-08-24 23:07:47 · 6245 阅读 · 0 评论 -
Storm集群的搭建
环境要求:如果以下环境你已搭建好,请直接跳过。1. java环境,如果还没有安装java环境,请点击!2.zookeeper环境,对于storm集群来讲,单节点的zookeeper已经足够。但要配置zookeeper的高可靠性,必须配置3台以上的奇数台!zookeeper的配置详情请点击总体架构图:现在开始storm集群的搭建:下载storm集群所需的可能用得到原创 2016-09-03 16:17:16 · 472 阅读 · 0 评论 -
Hive Using Derby in Server Mode(用Derby配置Hive的metastore——服务器模式)
为什么要配置Derby的服务器模式呢?答案如下:官方文档的一段话:Hive in embedded mode has a limitation of one active user at a time. You may want to run Derby as a Network Server, this way multiple users can access it simultane原创 2016-08-25 20:19:17 · 918 阅读 · 0 评论 -
linux上安装、配置jdk
1.第一步创建文件夹cd /usr/local/mkdir java2.第二步上传下载好的jdk(linux版本32、64根据自己的机器决定)rz jdk-8u101-linux-x64.tar.gz3.解压到当前文件夹tar -zxvf jdk-8u101-linux-x64.tar.gz4.配置环境变量vi /etc/profile在末尾添加以下两行expo原创 2016-08-10 08:40:40 · 425 阅读 · 0 评论 -
linux ——hadoop免密码登陆的配置
A免密码登陆B的原理:1.在本机A生成一对公钥私钥2.将公钥拷贝给想要登录的主机B步骤:cd ./ssh[root@misswall .ssh]# ssh-keygen -t rsa4次enter#将公钥拷贝给自己[root@misswall .ssh]# cp id_rsa.pub authorized_keys #登陆自己[root@misswall原创 2016-08-10 09:39:54 · 866 阅读 · 0 评论 -
linux命令行编辑快捷键
本文转载自http://www.cnblogs.com/bo083/archive/2012/12/12/2815361.html先总结几个个人觉得最有用的ctrl + ? 撤消前一次输入ctrl + c 另起一行ctrl + r 输入单词搜索历史命令ctrl + u 删除光标前面所有字符相当于VIM里d shift+^ctrl + k 删除光标后面转载 2016-08-21 21:55:33 · 316 阅读 · 0 评论 -
Linux上Zookeeper集群的配置
前提准备:下载zookeeper安装包:http://zookeeper.apache.org/releases.html配置一台linux机器(按照如下步骤),并再克隆出两台,再分别配置其IP,修改相关文件。3台主机的主机名与IP地址的映射配置在/etc/hosts文件中配置;[root@zk1 ~]# vi /etc/hosts192.168.1.101 zk1原创 2016-08-22 13:18:35 · 5454 阅读 · 3 评论 -
分布式系统、集群的时间同步
原文出自:http://blog.csdn.net/bbirdsky/article/details/20445385 Linux服务器运行久时,系统时间就会存在一定的误差,一般情况下可以使用date命令进行时间设置,但在做数据库集群分片等操作时对多台机器的时间差是有要求的,此时就需要使用ntpdate进行时间同步。date命令:date :查看当前时间原创 2016-08-22 09:50:00 · 13324 阅读 · 1 评论 -
解决问题——别名alias重启失效,以及怎样取消别名
第一种:vim /root/.bashrc将别名添加进去,保存退出紧接着执行source使其生效source /root/.bashrc第二种:直接追加:注意最外层的“ ”号,以及=号后边的‘ ’号 比如:echo "grep='grep -i --color=auto'" >>/root/.bashrc取消别名:unalias原创 2016-09-01 21:35:43 · 4096 阅读 · 0 评论 -
HDFS的回收站Trash以及Checkpoints的配置与使用
开启HDFS的回收站功能:首先:执行stop-dfs.sh命令脚本关闭HDFS只需在namenode节点上的core-site.xml文件中,添加如下两个属性: fs.trash.interval 10080 Number of minutes after which the checkpoint gets deleted. If zero, the trash feature原创 2016-09-13 18:21:06 · 4975 阅读 · 0 评论 -
深入学习Hadoop之第三篇——YARN架构解析
MapReduce在YARN上被执行。以下内容涉及的task均是指map tasks或者reduce tasks.YARN的基本思想:是将资源管理和作业的调度/监控相分离,使它们运行在不同的守护进程中。该思想是为了达到:有一个全局的ResourceManager以及每个Application独有的ApplicationManager。一个Application可能是单个job,也可原创 2016-10-12 22:07:03 · 1537 阅读 · 0 评论