hadoop
文章平均质量分 81
wickedvalley
好记性不如烂笔头
展开
-
ssh-keygen 的 详解
为了让两个linux机器之间使用ssh不需要用户名和密码。所以采用了数字签名RSA或者DSA来完成这个操作。模型分析假设 A (192.168.20.59)为客户机器,B(192.168.20.60)为目标机;要达到的目的:A机器ssh登录B机器无需输入密码;加密方式选 rsa|dsa均可以,默认dsassh-keygen -t rsa #使用rsa加密转载 2016-06-02 22:35:05 · 397 阅读 · 0 评论 -
Hive----------Cannot find hadoop installation: $HADOOP_HOME m...
解决后的感受:需要在环境变量里配置hadoop_home 类似于java的环境Cannot find hadoop installation: $HADOOP_HOME must be set or hadoop must be in the path解决:root@ubuntu118:~# nano /etc/profile 在其中添加HADOOP_HOME如下:转载 2016-10-15 22:11:58 · 9620 阅读 · 4 评论 -
CentOS下如何完全卸载MySQL?解决卸载不干净的问题
出处:https://my.oschina.net/zhangjie830621/blog/466279CentOS下如何完全卸载MySQL?解决卸载不干净的问题系统:CentOS 6.5,MySQL:MySql 5.6这里主要解决使用rpm安装的卸载问题,安装方法见:CentOS安装mysql*.rpm提示conflicts with file from package的解决办法转载 2016-11-06 16:56:49 · 357 阅读 · 0 评论 -
ssh免密码登录的原理
出处:http://blog.csdn.net/u012814506/article/details/50932898工作第一天,就需要登录各种服务器,免密码登录无疑能大大的提高工作效率。以前只知道配置,今天了解了下原理。免密码登录原理图解,server A免登录到server B: 1.在A上生成公钥私钥。 2.将公钥拷贝给server B,要重命名成au转载 2016-11-05 16:53:12 · 232 阅读 · 0 评论 -
安装jdk后出现bash: ./java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录
cenos安装jdk会遇到的问题:配置完环境变量后用java -version测试出现“bash: ./java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录”的问题“。于是到网上搜了下,用sudo yum install glibc.i686命令安装好glibc之后问题就解决了。原创 2016-09-05 14:46:07 · 1701 阅读 · 0 评论 -
linux下安装jdk,非常简单的操作
1.在 /usr/local 下新建一个文件夹java 新建后有路径/usr/local/java# cd /usr/local # mkdir java2.把下载的jdk-8u101-linux-i586.tar.gz放在/usr/local/java 下并解压#tar -zxvf jdk-8u101-linux-i586.tar.gz 解压文件操作原创 2016-08-19 11:24:57 · 325 阅读 · 0 评论 -
redhat下给普通用户增加sudo命令,让他可以获得修改等权限
使用root账户,登录后# visudoroot ALL=(ALL) ALL //找到这行,在下面添加一条记录hadoop ALL=(ALL) NOPASSWD:ALL保存退出。#visudo -c //测试一些,ok了,就可以试一下了。转载 2016-08-19 10:20:36 · 403 阅读 · 0 评论 -
Linux 修改主机名 和 ip 映射关系
1. 修改主机名vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop2. 修改主机名和IP的映射关系vim /etc/hosts192.168.0.2 hadoop转载 2016-08-18 23:32:16 · 7119 阅读 · 0 评论 -
大数据hadoop资源网址
1. http://www.iteblog.com/archives/1072转载 2016-07-28 20:51:38 · 321 阅读 · 0 评论 -
Hadoop异常 hdfs.DFSClient: DataStreamer
机器环境:ubuntu 11.10 64位hadoop版本:1.0.1 按照http://hadoop.apache.org/common/docs/stable/single_node_setup.html上描述做单击为分布式测试时抛异常:root@ubuntu:~/sse/hadoop/hadoop-1.0.1# bin/hadoop fs -put conf转载 2016-06-15 15:15:21 · 3452 阅读 · 1 评论 -
Hadoop之MapReduce程序应用一读取专利引用数据集并对它进行倒排
摘要:MapReduce程序处理专利数据集。关键词:MapReduce程序 专利数据集数据源:专利引用数据集cite75_99.txt。(该数据集可以从网址http://www.nber.org/patents/下载)问题描述:读取专利引用数据集并对它进行倒排。对于每一个专利,找到那些引用它的专利并进行合并。top5输出结果如下:1转载 2016-06-11 19:38:07 · 1012 阅读 · 0 评论 -
Hadoop之HDFS文件操作
摘要:Hadoop之HDFS文件操作常有两种方式,命令行方式和JavaAPI方式。本文介绍如何利用这两种方式对HDFS文件进行操作。关键词:HDFS文件 命令行 Java APIHDFS是一种分布式文件系统,为MapReduce这种框架下的海量数据分布式处理而设计。Hadoop之HDFS文件操作常有两种方式,一种是命令行方式,即Hadoop提供了一套与Linu转载 2016-06-11 15:05:54 · 481 阅读 · 0 评论 -
eclipse上安装hadoop后报错 Error:org.hadoop.security.AccessControlException:Permission
eclipse上安装hadoop插件后报错:org.apache.hadoop.security.AccessControlException: Permission denied: user=DrWho, access=READ_EXECUTE, inode="system":hadoop:supergroup:rwx--错误解决方法:取消hadoop的权限校验。解决办法是:原创 2016-06-10 22:02:55 · 307 阅读 · 0 评论 -
用eclips连hadoop报Unknown protocol to job tracker: org.apache.hadoop.hdfs.protocol.ClientProtoco
win7上开发hadoop在eclips连接hadoop时,报Unknown protocol to job tracker: org.apache.hadoop.hdfs.protocol.ClientProtocolorg.apache.hadoop.ipc.RemoteException: java.io.IOException: Unknown protocol t转载 2016-06-10 21:53:26 · 650 阅读 · 0 评论 -
hadoop集群中datanode启动几秒钟自动关闭
有时候会遇到问题,当执行./start-dfs.sh后,运行jps查看进程运行状态,你会发现主从节点都起动了,去查看从节点,运行jps时会发现,你的datanode运行正常,但是过几秒钟你再运行jps指令,你会发现你的datanode进程成功的挂了, 1.于是你可以在node2节点上ping node1看看能不能连通node1主机,当发现node1是连通后,说明你的/etc/hosts文原创 2016-06-10 12:50:11 · 4187 阅读 · 0 评论 -
hadoop环境搭建遇到的问题:-bash: jps: command not found
在伪分布式环境搭好后需要执行命令查看运行任务情况 当我们执行jps时发生:-bash: jps: command not found说明运行的jps程序找不到,当然你去java的bin目录 下执行时可以的。 解决方案:1.cat 会得到以下内容,当然PATH是我已经改过的;命令:[root@node2 ~]# cat ./.bash_profile原创 2016-06-09 23:16:59 · 10328 阅读 · 0 评论 -
hive创建表---并把数据导入表中
--create table deptcreate table dept(id int,dept string,location string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';--load data into your tableload data local inpath '/opt/dat原创 2016-10-16 12:38:43 · 684 阅读 · 0 评论