Linux
godadream
这个作者很懒,什么都没留下…
展开
-
Hadoop分布式集群搭建详细过程
1. 首先用五台机器搭建分布式,一个为master,剩下四个分别为slave01、slave02、slave03, slave04。2. 修改机器名 五台机器分别都执行sudo vim /etc/hostname命令,将文件中的内容分别改为master、slave01、slave02、slave03, slave04。3. 重启机器,发现机器名修改成功。4. 修改master...原创 2018-08-03 20:47:13 · 1096 阅读 · 2 评论 -
Ubuntu16.04安装JDK1.8
1. 首先将jdk文件拖拽到虚拟机桌面位置,使用VMware的可以安装高级工具Tools,这样可以实现文件的拖拽。如果没有Tools,也可以使用xftp软件进行文件传输,在此不做具体介绍。2. 切换到文件所在目录,并将jdk文件移动到安装目录,本人将安装在/opt目录下。 cd ~/桌面 sudo mv jdk-8u151-linux-x64.tar.gz /opt3....原创 2018-08-03 11:21:31 · 821 阅读 · 0 评论 -
VMware14.1 Ubuntu16.04设置xshell连接虚拟机
1. 打开终端,查看本地ip地址2. 安装ssh3. 安装ssh成功后,打开本地xshell软件,创建新的会话。输入信息后点击“确定”,此处主机指的是虚拟机主机的ip,即刚刚用ifconfig命令查询到的IP地址。4. 双击该会话连接,弹出SSH安全警告,点击”接受并保存“。输入用户名和密码,为了下一次自动连接,选择记住用户名和密码。5. 输出下列信息,连接成功...原创 2018-08-03 10:17:00 · 822 阅读 · 0 评论 -
将联网方式更改为桥接模式
当前联网方式为NAT,当我们需要搭集群时需要我们将其改为桥接模式,下面将介绍如何更改连接方式。1. 点击VMware上菜单栏里的虚拟机,点击“设置”,在弹出框内进行如下设置,点击“确定”。2. 打开终端,输入ifconfig命令,查看我们的ip地址。本人由于安装虚拟机后首次打开终端,所以应先设置root用户密码。在Linux系统中输入密码是不显示的,所以大家不用怀疑自己是否输入。...原创 2018-08-03 10:00:19 · 4613 阅读 · 0 评论 -
VMware虚拟机的三种联网方法及原理
VMware虚拟机的三种联网方法及原理博客分类: 操作系统虚拟机Vmware互联网网络应用网络协议一、Brigde——桥接 :默认使用VMnet01、原理:Bridge 桥"就是一个主机,这个机器拥有两块网卡,分别处于两个局域网中,同时在"桥"上,运行着程序,让局域网A中的所有数据包原封不动的流入B,反之亦然。这样,局域网A和B就无缝的在链路层连接起来了,在桥接时,VMWare...转载 2018-08-01 19:36:38 · 158 阅读 · 0 评论 -
VMware14.1 Ubuntu16.04安装教程
1. 安装WMware14.1,安装成功后打开点击“主页”中的“创建新的虚拟机”。2. 选择“自定义”,点击“下一步”3. 选择默认选项,点击“下一步”。4. 选择“稍后安装操作系统”,点击“下一步”。5. 根据自己的实际情况进行选择,本人安装的是Ubuntu64位,所以在此选择Linux系统并且对应版本位“Ubuntu64位”。选择完成后,点击下一步。6....原创 2018-08-03 09:16:20 · 3291 阅读 · 0 评论 -
MapReduce分析NCDC 年气象数据最低温度与最高温度
利用hadoop计算技术对采集的气象数据信息进行处理,主要分两个阶段:mapper阶段和reducer阶段,mapper阶段主要是对日志文件进行按行读取并进行字符串截取,reducer阶段对mapper阶段传过来的数据进行大小比较,最终获取每一年中的最高温度。具体气象数据的格式可以参考:https://blog.csdn.net/lihuinihao/article/details/38315...原创 2018-08-05 21:03:37 · 3550 阅读 · 0 评论 -
使用Hadoop自带的例子pi计算圆周率
Hadoop中自带的hadoop-mapreduce-examples-2.7.6.jar含有一些事例,本文将用pi计算圆周率。若想了解其计算原理,参考:http://thinkinginhadoop.iteye.com/blog/710847。具体步骤如下:1. 启动Hadoop 切换到Hadoop安装目录下的sbin目录下执行./start-all.sh命令 或执行...原创 2018-08-05 16:45:12 · 17881 阅读 · 2 评论 -
使用Hadoop自带的例子wordcount实现词频统计
Hadoop中自带的hadoop-mapreduce-examples-2.7.6.jar含有一些事例,本文将用wordcount实现词频统计。具体步骤如下:1. 启动Hadoop 切换到Hadoop安装目录下的sbin目录下执行./start-all.sh命令 或执行./start-dfs.sh和./start-yarn.sh两条命令2. 在集群中创建目录inputd...原创 2018-08-05 16:23:36 · 11088 阅读 · 1 评论 -
Ubuntu16.04 SSH 免密登录
1. 生成公钥,输入命令后按四个回车。 ssh-keygen -t rsa2. 进入到.ssh文件夹下,然后追加公钥到公共文件 cd .ssh cat id_rsa.pub >> authorized_keys3. 测试免密登录 ssh localhost...原创 2018-08-03 11:38:30 · 1768 阅读 · 0 评论