hadoop mapreduce实践

hadoop环境搭建参考:https://blog.csdn.net/qq_26437925/article/details/78945077 * Java compile group: 'org.apache.hadoop', name: 'hadoop-client', version...

2019-04-20 17:31:25

阅读数 39

评论数 0

hive环境搭建和基础使用

hadoop@vm2:~/apache-hive-0.14.0-bin$ ll total 400 drwxrwxr-x 8 hadoop hadoop 4096 Apr 16 04:45 ./ drwxr-xr-x 28 hadoop hadoop 4096 Apr 16 07:04 ...

2019-04-17 13:05:20

阅读数 76

评论数 0

zookeeper API使用 - 客户端连接

ZooKeeper 客户端对象 /** * To create a ZooKeeper client object, the application needs to pass a * connection string containing a comma separate...

2019-04-05 10:59:40

阅读数 81

评论数 0

《Zookeeper 分布式过程协同技术详解》 实践ing

一个协作任务指一个包含多进程的任务。这个任务可以是为了协作或者是为了管理竞争。协作意味着多个进程需要同时处理某些事情,一些进程采取某些行动是的其它进程可以继续工作 zookeeper使用共享存储模型来实现应用间的协作和同步原语。对于共享存储本身,又需要在进程和存储间进行网络通信 zookeep...

2019-04-04 21:53:59

阅读数 39

评论数 0

git (8) -- git lfs 大文件上传到github

找到大于100M的文件 find . -type f -size +100M

2019-03-30 09:56:48

阅读数 22

评论数 0

guava-retrying-重试机制

//todo

2019-03-26 23:25:59

阅读数 28

评论数 0

数据写到Kafka报了一些错误,// 未完

RuntimeException org.apache.kafka.common.errors.NetworkException ERROR KafkaProducer: org.apache.kafka.common.errors.NotLeaderForPartitionException o...

2019-03-06 23:31:01

阅读数 74

评论数 0

git (7) -- git cherry-pick 挑取分支做 hotfix

git branch hotfix git checkout hotfix mubi@mubideMacBook-Pro git_command_test [fix] $ git log -3 commit df897aa492ca23fb4d022079260b6cba0b6b5797 (H...

2019-01-18 23:02:44

阅读数 41

评论数 0

git (6) -- git rebase 优化已提交的commit

git rebase -i HEAD~2 mubi@mubideMacBook-Pro git_command_test [fix] $ git rebase -i HEAD~2 [detached HEAD c35c855] delete a line Date: Fri Jan...

2019-01-18 22:37:28

阅读数 39

评论数 0

MySQL state variable processlist

如下,查看timeout,connect相关的数据库变量 mysql> show variables like '%timeout%'; +--------...

2018-11-06 10:27:18

阅读数 71

评论数 0

TTFB //TODO

参考百度百科:https://baike.baidu.com/item/TTFB TTFB(Time To First Byte)是“最初的网络请求被发起”到“从服务器接收到第一个字节前”所花费的毫秒数。 这期间会有 DNS解析 TCP连接 HTTP请求 HTTP逻辑处理 HTTP响应 ...

2018-11-04 23:26:07

阅读数 42

评论数 0

mysql master slave 复制原理与实践

master mysql> show master status -> ; +------------------+----------+--------------+------------------+--...

2018-10-23 23:39:57

阅读数 85

评论数 0

MySQL 优化学习7 --读写分离&分库分表?

todo

2018-10-20 15:45:00

阅读数 251

评论数 0

MySQL 优化学习6 --分库分表?

分库分表 又优点也有缺点,还要根据实际情况而定 此文代码和数据表实践github: 新增数据操作对比效率 1. java代码Junit 测试一次 普通mybatis操作,往已有一千万数据的user表新增数据 分库分表,新增一条记录 2. jmeter 测试 开了20个线程 普...

2018-10-20 13:58:21

阅读数 70

评论数 0

MySQL 优化学习5 -- 避免无聊的频繁查询

在业务中,会遇到这样的场景: 获取到用户ID列表,需要得到用户的具体信息列表,用户的ID可能是遍历某个列表得到的。 会出现如下两种写法 @Test public void testCmp(){ int n = 1000; Long startTime = ...

2018-10-19 10:23:49

阅读数 133

评论数 0

MySQL 优化学习4 -- 子查询

学生,课程,成绩三张表 mysql> desc test_user; +----------+-------------+------+-----+---------+----------------+ | Field | Type | Null | Ke...

2018-10-18 22:57:08

阅读数 54

评论数 0

MySQL 优化学习3 -- in语句

实践的mysql 版本如下 $ mysql --version mysql Ver 14.14 Distrib 5.6.40, for macos10.13 (x86_64) using EditLine wrapper in 语句 对id主键使用in语句查看(如下对语句2,3) 对于语...

2018-10-18 10:35:36

阅读数 47

评论数 0

JMX了解

原文链接:https://www.cnblogs.com/trust-freedom/p/6842332.html 作者:Trust_FreeDom - 博客园 博客主页:http://www.cnblogs.com/trust-freedom/ 根据原文的实践如下(没有完全按照原文来): H...

2018-10-05 17:08:28

阅读数 56

评论数 0

kafka-1.1.0 源码环境搭建

开发环境和工具 mac os gradle 4.7 java 1.8 scala 2.12.7 kafka-1.1.0-src idea 2018.1.2 scala-intellij-bin-2018.1.10.zip 源码编译 源码目录下运行gradle idea 参考:https:/...

2018-10-04 20:48:04

阅读数 131

评论数 0

Ubuntu虚拟机 Zookeeper+Kafka集群搭建

机器和环境 三台ubuntu 16.04 64bit ip地址 zookeeper主从 kafka broker id 172.16.227.128 follower 1 172.16.227.129 leader 2 172.16.227.130 follower 3 ...

2018-10-03 18:42:26

阅读数 226

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭