- 博客(65)
- 收藏
- 关注
RSS订阅转载 Yarn 事件分发调度
yarn：调度框架，基于事件 AsyncDispatcher：异步事件分发器，总管道 参数： 事件队列：BlockingQueue<Event> eventQueue 事件分发器：eventDispat...
2017-05-03 23:51:00
200
转载 Hadoop 之 RM初始化、远程调试
JAVA进程、核心的Hadoop类 1.HDFS：数据存储 org.apache.hadoop.hdfs.server.namenode.NameNode org.apache.hadoop.hdfs.server.datanode.DataNode ...
2017-05-03 22:09:00
258
转载 Hadoop 之Job提交推演
Job提交推演: 1.Job job = Job.getInstance(); 2.job.waitForCompletion(); job.submit(); submitter.submitJobInternal(Job.this, ...
2017-05-03 21:17:00
142
转载 Ant 的使用
工程下新建一个build.xml文档。 <project name="HadoopDemo" basedir="."> <target name="prepare"> <delete dir="${basedir}/target/classes"/>...
2017-04-29 17:42:00
102
转载 Hadoop MapReduce原理之核心类
Job： 允许user设置、提交、控制执行、查询状态。 setXXX方法必须在sumbit之前调用。 The job submitter's view of the Job. It allows the user to configure...
2017-04-26 22:35:00
122
转载 Hadoop MapReduce 原理
MapReduce 执行的三个步骤： 1. 客户端（Client）提交作业（job）给资源管理器（ResourceManager，RM） 2. RM 寻找负责人，找对应的应用主管（AppMaster，AM） 3. AM 接收指令后，开始执行 1. 客...
2017-04-23 23:17:00
73
转载 Hadoop插件安装
把hadoop-eclipse-plugin-2.x.x 放到 eclipse 放到eclipse的plugins中 重启eclipse，在 eclipse 的preference 中会多一个Hadoop Map/Reduce条目。 ...
2017-04-23 22:52:00
85
转载 Linux下前台/后台运行
1. 启动时 以& 结尾，后台运行 2.已经启动的程序， 按CRTL + z //放到后台暂停 bg + %进程号，将程序放到后台运行 可通过jobs指令查看后台运行程序 bg + %进程号，将后台程序放到前台运行 ...
2017-04-23 19:47:00
550
转载 win7下配置networks文件映射主机名和端口号利于网络访问
修改文件：C:\Windows\System32\drivers\etc\hosts 添加对应的ip 和 主机名 127.0.0.1 localhost 192.168.10.134 s1 192.168.10.135 s2 192.168.10.136 s3 192.168.10....
2017-04-23 18:59:00
707
转载 Hadoop 集群模式深入定制切割与副本数以及块大小定制
gz 文件不能切割(split)，无法创建多个map函数，整体输入map函数 解压 gz 文件，对原生文件进行处理 在map中获取切割长度 split切割准则 1.不能超过max blocksize，否则=maxblocksize 2.可以小于minblocksize...
2017-04-23 16:50:00
118
转载 Hadoop 集群模式调整配置最小块设置与web访问
调整配置最小块设置： hdfs.xml <property> <name>dfs.namenode.fs-limits.min-block-size</name> <value>1048576</value> </pro...
2017-04-23 15:27:00
102
转载 MapReduce集群模式调整配置与shell脚本处理
修改 Ubuntu 启动为文本启动模式，减少系统资源的占用。 sudo nano /etc/default/grub 注释掉 GRUB_CMDLINE_LINUX_DEFAULT="quiet" 改GRUB_CMDLINE_LINUX=”text” ...
2017-04-21 22:07:00
111
转载 Ubuntu16.04 文本方式启动
sudo nano /etc/default/grub 注释掉 GRUB_CMDLINE_LINUX_DEFAULT="quiet" 改GRUB_CMDLINE_LINUX=”text” 去掉 #GRUB_TERMINAL=console 的注释 sudo update...
2017-04-19 22:29:00
211
转载 HADOOP 在 JAVA 运行
1. Mapper 2. Reducer HADOOP 的 Maven依赖包： <dependencies> <dependency> <groupId>org....
2017-04-14 22:01:00
138
转载 Hadoop 启动代码分析
start-all 启动分析 set HADOOP_BIN_PATH = ${HADOOP_INSTALL}\sbin set HADOOP_LIBEXEC_DIR = ${HADOOP_INSTALL}\libexec ${HADOOP_INSTALL}\libexe...
2017-04-14 08:31:00
369
转载 Hadoop架构分析
官网介绍： http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html 机架、交换机、节点 Hadoop分布式文件系统 按需定制MapReduce 目标在于多次...
2017-04-12 21:24:00
92
转载 Win7开启网络访问
1.gpedit.msc 计算机配置->windos 设置->安全设置->本地策略->用户权限分 配->”拒绝从网络访问这台计算机”->Guest->删除 2.开启”仅来宾...
2017-04-11 23:17:00
287
转载 Hadoop在Windows下免Cygwin伪分布安装
解压HADOOP软件包到本地目录，配置环境变量HADOOP_INSTALL，配置bin, sbin路径 将hadoop-common-2.2.0/bin 目录下的hadoop缺失的文件复制到hadoop的bin目录下 注：hadoop版本与hadoop-common的版本必须一致，同为2....
2017-04-11 22:44:00
128
转载 HADOOP配置
参考 HADOOP权威指南。 三种模式： 1. 独立模式 没有运行的守护程序，所有程序运行在一个JVM中。适合开发期间运行MapReduce 程序，源于他的易于测试与调试。 本地文件系统 ：ubuntu@ubuntu:~$ hadoop fs -ls / ...
2017-04-01 01:46:00
124
转载 Hadoop 安装
1. JDK 安装 2. Hadoop 下载安装 下载：http://hadoop.apache.org/releases.html ubuntu@ubuntu:~$ sudo gedit /etc/environment JAVA_HOME=/usr/soft/jdk1.8.0_101...
2017-03-31 09:03:00
72
转载 Linux 命令记录
1. 安装后，切换root 用户前要先为其设置密码 sudo passwd 2. 切换数据源 更改软件源：(/etc/apt/sources.list) cd /etc/apt cp sources.list sources.list.bak cat sources.list #删除文...
2017-03-28 23:00:00
76
转载 1. Hadoop 简介
一个计算框架 优点：分布式、可靠、可伸缩 主要使用领域：搜索引擎、海量数据存储 hadoop 主要用于处理海量数据。 1. 存储 分布式文件系统：HDFS，hadoop distributed file system 2. 运算 mapreduce...
2017-03-24 01:05:00
64
转载 23. Jedis 连接池
获取Jedis实例需要从JedisPool中获取 用完Jedis实例需要返还给JedisPool 如果Jedis在使用过程中出错，则也需要还给JedisPool。 JedisPool的配置参数大部分是由JedisPoolConfig的对应项来赋值的。 maxActive：控制一个pool...
2017-03-11 01:50:00
73
转载 22. Jedis 主从复制
package com.wgy.redis.Redis; import redis.clients.jedis.Jedis; public class TestMS { public static void main(String[] args) { Jedis j...
2017-03-11 01:40:00
67
转载 21. Jedis 事务
package com.wgy.redis.Redis; import org.junit.Test; import redis.clients.jedis.Jedis; import redis.clients.jedis.Transaction; public class TestT...
2017-03-11 01:31:00
77
转载 20. Jedis 常用API
public class TestAPI { public static void main(String[] args) { Jedis jedis = new Jedis("192.168.10.130", 6379); jedis.set("k1...
2017-03-11 01:09:00
108
转载 19. Jedis 测试联通及问题解决
依赖包： <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.9.0</versio...
2017-03-11 00:39:00
131
转载 18. Redis的主从复制
1. 概念 Redis的主从复制：主机数据更新后根据配置和策略，自动同步到备机的master/slaver机制，Master以写为主，Slave以读为主 2. 应用 读写分离、容灾回复 3. 配置文件细节操作 ①. 配从（库）不配主（库） ②. 从库...
2017-03-09 01:02:00
84
转载 17. Redis发布订阅
Redis 的发布订阅是进程间的一种消息通信模式：发布者发送信息，订阅者接受信息。 1. 订阅多个 [root@CentOS-1 ~]# redis-cli -p 6379 127.0.0.1:6379> SUBSCRIBE c1 c2 c3 Reading messages... ...
2017-03-08 23:51:00
61
转载 Mysql语句记录
获取表中的所有字段。 select group_concat(column_name) from information_schema.COLUMNS where table_name = 'your_table_name' and table_schema = 'your_db_name...
2017-03-08 22:11:00
71
转载 16. Redis 事务
1. 概述 可以一次执行多个命令，本质是一组命令的集合。一个事务中的所有命令都会序列化，有顺序地串行化执行而不会被其它命令插入，不许加塞。 一个队列中，一次性、顺序性、排他性的执行一系列命令 2. 事务命令的使用 DISCARD：取消事务，放弃执行事务块内的所有命...
2017-03-08 01:31:00
54
转载 15. Redis之持久化
一. RDB（Redis DataBase） 1. 概念 在指定的时间间隔内将内存中的数据集快照写入磁盘，也就是行话讲的Snapshot快照，它恢复时是将快照文件直接读到内存里。 Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写...
2017-03-07 00:59:00
196
转载 14. Redis 配置文件
1. 配置大小单位,开头定义了一些基本的度量单位，只支持bytes，不支持bit 2. 对大小写不敏感 一. INCLUDES（包含） 3.和truts2配置文件类似，可以通过includes包含，redis.conf可以作为总闸，包含其他 二.GENERAL通用 ...
2017-02-28 00:36:00
67
转载 13. Redis有序集合Zset(sorted set)
zadd/zrange withscores zrangebyscore key 开始score 结束score withscores ( 不包含 limit 作用是返回限制 limit 开始下标步 多少步 zrem key 某s...
2017-02-23 01:29:00
139
转载 12. Redis哈希(Hash)
KV模式不变，但V是一个键值对 hset/hget/hmset/hmget/hgetall/hdel hlen hexists key 在key里面的某个值的key hkeys/hvals hincrby/hincrbyfloat hsetnx 127.0.0.1:6379&g...
2017-02-23 01:19:00
92
转载 11. Redis集合（Set）
sadd/smembers/sismember scard，获取集合里面的元素个数 srem key value 删除集合中元素 srandmember key 某个整数(随机出几个数) spop key 随机出栈 smove key1 key2 在key1里某个值 作用...
2017-02-23 01:08:00
62
转载 10. Redis列表（List）
lpush/rpush/lrange lpop/rpop lindex，按照索引下标获得元素(从上到下) llen lrem key 删N个value ltrim key 开始index 结束index，截取指定范围的值后再赋值给key rpoplpush 源列表 目的列表 l...
2017-02-23 00:51:00
66
转载 9. Redis字符串（String）
set/get/del/append/strlen Incr/decr/incrby/decrby,一定要是数字才能进行加减 getrange/setrange： getrange:获取指定区间范围内的值，类似between......and的关系，从零到负一表示全部 setex(s...
2017-02-23 00:30:00
60
转载 8. Redis——key键
exists key的名字，判断某个key是否存在 move key db --->移动key到某个库，当前库就没有了，被移除了 expire key 秒钟：为给定的key设置过期时间 ttl key 查看还有多少秒过期，-1表示永不过期，-2表示已过期 type key ...
2017-02-23 00:11:00
79
转载 7. Redis 常用5大数据类型
1. String（字符串） string是redis最基本的类型，你可以理解成与Memcached一模一样的类型，一个key对应一个value。 string类型是二进制安全的。意思是redis的string可以包含任何数据。比如jpg图片或者序列化的对象 。 st...
2017-02-22 23:54:00
160
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人