- 博客(24)
- 资源 (87)
- 收藏
- 关注
RSS订阅原创 MapReduce二次排序
源码下载源码下载源数据，排序之前3 121 232 3432 212 1232 31 523 923 31 22 443 124 22排序之后 需要的效果; 这里两列都是 升序排列IntPair [first=1, second=2]IntPair [first=1, second=5]IntPair [first=1, second=23]...
2018-12-28 19:52:39
306
原创 MapReduce处理两个文件合并重新显示
文件011 Beijing2 Guangzhou3 Shenzhen4 xi’an文件02factoryname addressIdBeiJing Red Star 1ShenZhen Thunder 3Guangzhou Honda 2Beijing Rising 1Guangzhou Development Bank 2Tencent 3Bank of ...
2018-12-28 16:15:37
4120
2
原创 MapReduce计算气温原始数据
/**1.根据天气的原始数据，通过截取的方式，找出需要的天气2.截取指定字符串的天气*/数据下载package com.bipt.model.wether;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configure...
2018-12-28 14:53:52
930
原创 MapReduce模板
模板01 MrModelpackage com.bipt.model.MrModel.mymode;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.P...
2018-12-27 23:03:54
332
原创 自定义实现MapReduce中的wordcount功能导出jar使用
创建Maven项目选择默认路径maven 下一步设置项目名称和包修改pom文件修改后内容如下 pom.xml 文件<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schem...
2018-12-24 23:58:27
541
原创 大数据hadoop配置resourcesManager 高可用ha
ha （双机集群(HA)系统简称） 编辑ha是High Available缩写，是双机集群系统简称，指高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。HA(High Available)，高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。通常把正在执行业务的称为活动节点，而作为活动节点的一个备...
2018-12-19 16:13:14
1306
原创 大数据中高可用的配置hadoop;High Available -如何配置namenode的高可用
ha （双机集群(HA)系统简称） 编辑ha是High Available缩写，是双机集群系统简称，指高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。HA(High Available)，高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。通常把正在执行业务的称为活动节点，而作为活动节点的一个备...
2018-12-19 16:08:56
674
原创 Zookeeper使用--Java API
Zookeeper使用–Java APIpackage com.beicai.api1.zkJavaApi;import java.util.concurrent.CountDownLatch;import org.apache.zookeeper.AsyncCallback.DataCallback;import org.apache.zookeeper.AsyncCallback....
2018-12-18 17:01:44
309
原创 Zookeeper使用--Java API
Zookeeper使用–Java APIpackage com.beicai.api1.zkJavaApi;import java.util.concurrent.CountDownLatch;import org.apache.zookeeper.AsyncCallback.DataCallback;import org.apache.zookeeper.AsyncCallback....
2018-12-18 17:01:44
275
原创 ZooKeeper客户端命令
ZooKeeper客户端命令4.1 打开客户端在服务端开启的情况下，运行客户端，使用如下命令： zkCli.sh 连接服务端成功，若连接不同的主机，可使用如下命令： zkCli.sh -server ip:port 可以使用帮助命令help来查看客户端的操作4.2 创建节点使用create命令，可以创建一个Zookeeper节点， 如create [-s] [-e] pa...
2018-12-17 16:23:05
984
原创 ZooKeeper安装及配置使用（Linux环境）
ZooKeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。数据维护与同步；4.1 上传ZooKeeper到服务器安装路径（创建myzookeeper文件夹） 上传：/usr/so...
2018-12-17 14:52:46
514
原创 HDFS动态添加、删除节点机器
HDFS动态添加、删除节点机器操作配置1.动态的 增/删 节点1.1 ————操作前准备新节点 集群启动的状态中，添加一台新的机器（节点）进入； 第一次三台机器加入集群，是通过slaves中添加的。 这里创建一个新的hadoop4号机器，启动服务，稍后动态添加。 1.1.1 克隆一台新机器：hadoop4; ————注：（一定注意，克隆中的集群生成的 data和nam...
2018-12-15 13:41:25
2461
原创 shell 流程控制 02
shell 流程控制#————注意： -gt 大于 -ge 大于等于 -lt 小于 是less than -le 小于等于 是less than or equal to 对比数字使用既能使用-eq、-ne、-gt、-ge、-lt、-le，也能使用==、<、>、!=。其中-eq的意思是equal，-ne是unequal，-gt是greater than，-g...
2018-12-13 16:42:56
285
原创 shell脚本学习笔记01
shell脚本1、shell定义Shell Script [1] ，Shell脚本与Windows/Dos下的批处理相似，也就是用各类命令预先放入到一个文件中，方便一次性执行的一个程序文件，主要是方便管理员进行设置或者管理用的。但是它比Windows下的批处理更强大，比用其他编程程序编辑的程序效率更高，它使用了Linux/Unix下的命令。2、Linux的发展回顾2.1 简介2.2 ...
2018-12-13 11:31:18
384
原创 HDFS环境配置 - 顺序
HDFS环境配置HDFS环境配置 - 顺序01.创建虚拟机安装系统02.配置虚拟机IP03.设置主机名、hosts名04.拷贝jdk、hadoop-jdk05.解压jdk和hadoop06.配置java jdk 、测试07.配置hadoop jdk 、 测试08.开机关闭防火墙，开机启动sshd服务09.配置hadoop 参数文件10.重启系统并克隆 2、3机器11.设置...
2018-12-13 08:19:03
356
原创 HDFS配置聚合日志
聚合日志3.聚合日志（查看日志）浏览器查看运行情况历史记录，无法正常查看；配置聚合日志后可以浏览器查看历史记录；3.1 配置到 yarn-site.xml文件中 <property> <!--开启聚合日志--> <name>yarn.log-aggregation-enable</name> <value>true...
2018-12-13 08:17:59
712
原创 HDFS开启UBER模式
2. uber模式（节省资源）2.1 、配置uber模式 :如果每次运行时间很短,但是运行次数很多,会重复的开启和销毁JVM,开启Uber可以复用JVM，避免频繁的开关JVM的资源浪费。将配置文件追加到 hadoop配置文件 mapred-site.xml 后边通过下边命令可以快速配置给其他机器； 三台机器都要配置 [root@hadoop-1 hadoop]# scp mapr...
2018-12-13 08:15:53
1988
原创 HDFS常用api操作03
上传下载hdfs文件递归删除hdfs指定文件夹目录package com.cc.api1.hdfsapi;import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import...
2018-12-11 17:15:28
240
原创 HDFS常用api操作02
1. 在HDFS上创建文件，并写入内容2. 在HDFS上的文件进行追加内容3. 删除指定HDFS路径下文件及文件夹4. hdfs删除指定文件夹package com.cc.api1.hdfsapi;import java.io.FileOutputStream;import java.io.IOException;import java.net.URI;import java.n...
2018-12-11 16:32:45
291
原创 HDFS常用api操作01
hdfs服务器正常启动服务器文件上传下载命令正常eclipse 创建maven有关 hadoop配置成功代码如下package com.cc.api1.hdfsapi;import java.io.FileOutputStream;import java.io.IOException;import java.net.URI;import java.net.URISyntaxE...
2018-12-11 11:22:53
265
原创 hdfs dfs -appendToFile error 问题解决
hadoop 集群搭建好了使用命令 把本地的 文件内容追加到 hdfs 服务器上的 指定文件追加 本地文件的内容 到hdfs 上的文件末尾[root@hadoop-1 practice01]# hdfs dfs -appendToFile .p1 /README.txt报错一[root@hadoop-1 hadoop]# hdfs dfs -appendToFile hdf...
2018-12-07 17:18:43
9224
2
转载 /etc/crontab文件和crontab -e命令区别
/etc/crontab文件和crontab -e命令区别1、格式不同前者# For details see man 4 crontabs# Example of job definition:# .---------------- minute (0 - 59)# | .------------- hour (0 - 23)# | | .---------- day o...
2018-12-05 15:27:57
760
转载 配置Centos 更新源 aliyun
1、打开centos的yum文件夹输入命令 cd /etc/yum.repos.d/2、用wget下载repo文件输入命令wget http://mirrors.aliyun.com/repo/Centos-7.repo| 如果wget命令不生效，说明还没有安装wget工具，输入yum -y install wget回车进行安装。当前目录是/etc/yum.repos....
2018-12-05 09:19:02
1084
原创 大数据基础 -VMware CentOS 配置网络
连接 本地主机 和 虚拟中的 linux操作系统相互ping通1.2.3. 虚拟机 网络配置3.1 设置虚拟机网络共享3.2 虚拟机ip查看3.3 确定 NAT 连接3.4 Centos 网络ip设置1)编辑VMware centos 网络参照 3.2 192.168.137.1 设置 ip命令操作刷新配置； 终端进行操作修...
2018-12-04 15:05:06
316
1
1-01-科学思维与工程思维.pdf
2020-08-07
JSTL使用项目和lib资源
2018-09-29
googlecellfolding
2017-03-11
yml文件关键词自动可视化替换.zip
2024-04-26
树莓派与windows电脑视频实时同步，直播，监控都可以应用
2024-03-15
npx create-react-app react-app-demo ```
2022-04-12
解密压缩包 macos系统tar命令加密压缩文件 解密压缩文件 批处理shell bash 脚本
2022-03-17
一次搞明白 Session、Cookie、Token，面试问题全搞定.pdf
2020-04-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人