![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
NEO_L
这个作者很懒,什么都没留下…
展开
-
vm虚拟机设置桥接模式+ubuntu设置固定ip
注意:我的机子是用的无线网VM设置桥接模式:1.首先以管理员模式运行VMware,然后->编辑->虚拟网络编辑->管理员设置->选择桥接模式(设为自动就可以了)2.然后在虚拟机的网络连接设置中选择桥接模式就行了,点击复制物理状态.Ubuntu设置固定ip:1.执行命令:sudo su 然后输入密码就进入了管理员模式2.执行命令:vim /e...原创 2018-07-24 14:26:51 · 2925 阅读 · 0 评论 -
spark WordCount程序(java+scala)
注意:使用时请提前导入spark lib里的所有jar包Java 程序:package cn.spark.study;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org....原创 2018-08-15 11:07:27 · 304 阅读 · 0 评论 -
HadoopMapReduce-wordCount程序问题记录
问题记录如下:1.由于该程序需要引入外部jar包,我引入的是hbase下的lib所有的jar包,故会产生signature的问题 解决办法:在执行wordCount.jar包前,执行下列代码:zip -d wordCount.jar 'META-INF/.SF' 'META-INF/.RSA' 'META-INF/*SF'2.我所采用的示例是官网上的示例demo,但是按照其执行...原创 2018-08-01 16:39:05 · 269 阅读 · 0 评论 -
Java api 操作Hbase 完整示例(完全分布式)
我的环境:完全分布式集群,不是hbase自带的zookeeper,是独立的zookeeper该代码操作过程:在hbase中创建表、插入数据、查询数据注意:如果缺少相应的包,请上网下载后,导入项目即可代码如下:import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import o...原创 2018-07-31 15:03:34 · 7010 阅读 · 4 评论 -
vm虚拟机同步时间
方法一:(推荐)1.首先将虚拟机关机2.在虚拟机的编辑设置里——》选项——》vmwaretools-——》同步时间方法二:使用ntp,我没用过,可以自行上网搜索...原创 2018-07-30 12:42:33 · 2323 阅读 · 0 评论 -
× NameNode is still loading. Redirecting to the Startup Progress page.
清除浏览器缓存后,重新打开网页就行了原创 2018-07-30 12:15:21 · 588 阅读 · 0 评论 -
重启后,VM桥接模式就连不上网了
桥接模式将自动到对应的网卡即可 1.若果你用的是无限网,就选择那个带wireless的无限网卡 2.若果你用的是宽带,就选择 Realtek 开头的网卡 点击应用——》确定,重启虚拟系统就行了标题 ...原创 2018-07-29 10:37:20 · 1164 阅读 · 1 评论 -
ubuntu分布式安装hbase
注意:修改环境变量使用:vim ~/.bashrc 尽量不要使用profile参考链接:https://www.cnblogs.com/lzxlfly/p/7221890.html原创 2018-07-25 20:04:51 · 402 阅读 · 0 评论 -
hadoop完全分布式集群配置注意事项
handoop配置参考链接:http://dblab.xmu.edu.cn/blog/1177-2/#more-1177 注意事项:1.core-site.xml文件的路径要去掉file:,2.slaves放的主机名是所有datanode的节点,master也可以放进去,这样master既是namenode ,有事datanode`...原创 2018-07-25 09:28:57 · 342 阅读 · 0 评论 -
ubuntu分布式集群ssh免密登录设置
注意:这里我没有进入 root 模式我这里有三个虚拟机分别是:master slave1 slave21.安装ssh: sudo apt-get install ssh2.分别在所有节点上生成公钥和私钥:ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa3.执行命令: cd .ssh/ 进入该目录4.复制公钥为authorized_keys: c...原创 2018-07-24 17:09:29 · 1027 阅读 · 0 评论 -
ubuntu分布式集群修改主机名
无论是master节点还是slave节点都一样1.首先进入管理员模式:sudo su2.执行命令:vim /etc/hostname 修改为想要的主机名3.执行命令:vim /etc/hosts 添加ip+主机名 (这个是为了添加ip与主机名的映射) ...原创 2018-07-24 15:37:39 · 438 阅读 · 0 评论 -
Hbase2.0.2JavaApi操作
参考:https://blog.csdn.net/u012893747/article/details/84753988参考:http://blog.itpub.net/31506529/viewspace-2214159/转载 2019-06-15 11:19:16 · 1075 阅读 · 0 评论