自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

郑晖的博客

成长日记

原创 磁盘调度算法(OS)

当多个访问请求在等待时,采用一定的策略对这些请求 的服务顺序调整安排,降低平均访问磁盘服务时间,达到公平、高效。 公平:一个I/O请求在有限时间内满足 高效:减少设备机械运动所带来的时间浪费 算法 1)先来先服务 2)最短寻道时间优先 3)扫描算法 4)单向扫描调度算法 数据说明 假设磁盘...

2020-01-31 17:20:08 321 0

原创 Docker中安装Centos7后访问该Centos7中的服务

Docker中安装Centos7后访问该Centos7中的服务 文章目录Docker中安装Centos7后访问该Centos7中的服务说明一、安装Iptables二、配置Iptables 说明 该环境是这样的: 如果还没在Docker中安装过Centos7的话,请移步到:Docker中安装Cen...

2020-01-31 17:19:41 830 0

原创 大数据-统计每一个手机号耗费的总上行流量、下行流量、总流量

一、需求 根据数据日志统计每一个手机号耗费的总上行流量、下行流量、总流量 二、数据 1、输入数据 1 13736230513 192.196.100.1 www.atguigu.com 2481 24681 200 2 13846544...

2020-01-31 17:17:37 470 0

原创 idea下MAVEN+Hadoop+实现HDFS基本操作

环境 操作系统win10,jdk1.8,maven3.x,hadoop2.7.7,idea软件 一、使用idea创建一个Maven项目 普通的maven项目即可 输入一些信息 如下:这就是一个maven项目 pom.xml文件内容如下: <?xml version="1.0&...

2020-01-31 13:47:05 665 0

原创 记录以下出现:java.io.IOException: (null) entry in command string: null ls -F E:\file\a.txt 情况怎么办?

记录以下出现: Error while running command to get file permissions : java.io.IOException: (null) entry in command string: null ls -F E:\file\a.txt 情况怎么办? 原...

2020-01-31 12:10:25 402 0

原创 Hadoop-完全分布式配置-集群配置

本文是根据尚硅谷的视频教学,然后加上自己理解总结的。 配置hdfs和yarn如下: 所有的配置文件都在/opt/module/hadoop-2.7.7/etc/hadoop目录下。 [root@hadoop102 hadoop]# [root@hadoop102 hadoop]# pwd /o...

2020-01-30 13:39:54 473 0

原创 配置Linux集群时间同步(ntp)

环境: 现在有三台centos7的虚拟机,分别是hadoop102,hadoop103,hadoop104。现在在hadoop102上配置ntp服务(中心服务器),hadoop103和104分别拉取hadoop102上的时间 1、查看ntp是否安装(3台都要查看和安装,并保证都不在运行,如果已经运...

2020-01-30 13:09:33 401 5

原创 Hadoop-配置历史服务器、日志聚集功能

如果没有配置的话,会无法进行查看历史 开启日志聚集功能后,会把所有的日志都聚集到一台机器上,方便了查看,出了问题,不用在去一台一台的查看日志了。 首先关闭三台虚拟机上的hadoop的任何节点 一、配置历史服务器 hadoop102 配置mapred-site.xml [zhenghui@hado...

2020-01-30 11:07:37 347 0

原创 Hadoop-群集启动-集群测试wordcount

有三台Vmware中创建的Centos7虚拟机. Hadoop102,Hadoop103,Hadoop104 Hadoop102 默认的 将三台从机都写进去 在hadoop102上启动 start-dfs.sh 测试 在hadoop2上传文件测试 可以看到已经上传成功了 跑一下wo...

2020-01-30 10:23:49 268 0

原创 Centos7配置SSH免密

分别有Hadoop102,Hadoop103,Hadoop104三台Centos7的操作系统 Hadoop102: [zhenghui@hadoop102 ~]$ ssh-keygen -t rsa Generating public/private rsa key pair. Enter fil...

2020-01-30 09:45:06 324 0

原创 Linux-批量传输文件脚本

cp source destination cp -r /abc /def //把远程Hadoop101上的/opt/module拷贝到Hadoop102相同的位置 scp -r hadoop101:/opt/module/hadoop-2.7.7 hadoop102:/opt/module...

2020-01-29 19:41:17 620 0

原创 Hadoop-伪分布式搭建

伪分布式就是单节点的 第一步:配置相关的文件 编辑hdfs-site.xml [zhenghui@hadoop101 ~]$ cd /opt/module/hadoop-2.7.7/ [zhenghui@hadoop101 hadoop-2.7.7]$ [zhenghui@hadoop101 h...

2020-01-28 19:12:12 372 0

原创 深度工作室年总结---为什么我们能拿数十项竞赛奖?

为什么我们能拿数十项竞赛奖? 眨眼间又是一年,2019年深度工作室也已经2岁了,2020年马上要奔三啦。 在2019年中发生了一次又一次的大事,让我十分的难忘。接到于老师的通知的时候是在回家的动车上,我想着怎么表达出来这一年做过的事比较好呢,最后我想总结成一个励志故事,希望通过这个故事能够了解到深...

2020-01-21 16:45:37 463 0

原创 纪念一下获得十大优秀学生

各位评委老师你们好: 我是来自网络171C的郑晖,现担任班级学术科技委员,目前是深度工作室负责人也是创始人之一,同时也是百度校园大使。 拥有一项实用性发明专利,参与一项横向课题。 从上大学以来我始终保持着积极向上的心态,同时以高标准要求自己。 一、在思想上 为了积极向党组织靠拢,在大一入学时就递交...

2020-01-14 09:12:59 5684 5

原创 出现.NoSuchMethodError: org.springframework.beans.factory.config.BeanDefinition.getResolvableType错误咋办?

记 在Spring集成Mybaits时出现:java.lang.NoSuchMethodError: org.springframework.beans.factory.config.BeanDefinition.getResolvableType()Lorg/springframework/co...

2020-01-05 14:28:06 669 1

原创 大数据之数据清洗之爬取数据后如何根据地名或者公司名获取经纬度信息-地址逆解析经纬度

关于本文章说明: 本文章的想法来源于:爬了大量的数据后,想利用GIS技术把数据展示在地图上。但是爬的数据又没有经纬度坐标,就无法在地图上进行展示了,所以用了百度地图的正/逆地理编码。 计算机行业招聘智能分析平台效果 先看下我们团队爬的数据 如下图: 处理后的数据: 数据处理的流程:上...

2020-01-01 21:59:47 1260 15

提示
确定要删除当前文章?
取消 删除