- 博客(6)
- 收藏
- 关注
RSS订阅原创 hadoop学习笔记MapReduce
关于MapReduce的java代码开发，模式比较固定；基本分为三个部分，Mapper、Reducer以及主入口配置；已经典的词频统计案例来说步骤如下1 Mapper代码：package com.hadoop.mr.wc;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;...
2019-09-26 07:06:28
149
原创 hadoop学习笔记HDFS(二)之HDFSApi
1 基本环境：1.1 操作系统 win101.2开发工具：IDEA1.3jar包版本 2.6.0-cdh5.15.12 开发前配置2.1 配置haoop本地环境2.1.1 下载hadoop对应版本的bin，我这里使用的是hadoop2.7.6版本；使用一切正常。可以到这里下载：https://pan.baidu.com/s/1d5fDT6IdjAuKI4ZxbX8x...
2019-09-22 10:40:05
246
原创 hadoop学习笔记HDFS(一)之HDFS常用命令行命令
官网地址https://hadoop.apache.org/docs/stable/两张截图：抄写一句话：The File System (FS) shell includes various shell-like commands that directly interact with the Hadoop Distributed File System (HDFS) as ...
2019-09-21 08:24:51
375
原创 本地虚机网段修改
本地用虚机测试的时候默认ip是127.0.0.1，这个时候是无法连接外网的。需要修改几个配置文件；1 使用root用户进入 /etc/sysconfig/network-scripts/#sudo -i#cd /etc/sysconfig/network-scripts/2 删除 ifcfg-lo文件；# rm ifcfg-lo3 修改 mac地址3.1 通过 ip ...
2019-09-18 07:29:24
1523
原创 docker问题整理记录
1 docker容器时区不是北京时间1.1 直接修改容器系统时间#docker cp /etc/localtime [容器ID]:/etc/localtime1.1.1 tomcat时间不是北京时间(jre是通过配置文件读取本地时间的：/etc/timezone)覆盖容器配置信息#docker cp /etc/timezone [容器ID]:/etc/timezone...
2019-09-17 11:14:11
122
原创 java端jedisPool工具类以及一个异常处理Could not get a resource since the pool is exhausted
redis作业一个Key-Value数据库目前被用的越来越频繁，尤其在缓存处理有很不错的效果。这里记录仅一些配置信息。1. 配置poolConfigJedisPoolConfig poolConfig = new JedisPoolConfig();poolConfig.setMaxIdle(10);//最大空闲链接poolConfig.setMaxTotal(100);//最大连接...
2019-09-12 15:17:05
8788
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人