李文杰灬-CSDN博客

原创 Java 使用Jedis操作Redis

Java 使用Jedis操作Redis <div class="article_manage clearfix"> <div class="article_l"> <span class="link_categories"> 标签： <a href="http://www.

2017-11-01 18:58:58 373

原创文章标题

写在前面作为一个单体应用开发人员对于理解分布式应用和微服务的理论还可以。但是部署分布式环境来说还是一个挑战。最近在学习hadoop，正也把学习的东西分享出来，希望帮助感兴趣的人。前面一章写了centos7搭建hadoop集群再跟着做本章实验前建议初学者先去实验上一章的内容。有任何问题欢迎反馈，我也好做出修改。 ha(高可用)hadoop2.7.3集群,主要是为了消除spof(单点故障)，解

2017-11-01 18:47:17 251

转载 Hadoop 及 Hive 压缩应用

1.压缩在Hadoop中的应用1.压缩概述为什么使用压缩？文件压缩主要有两个好处：一是减少了存储文件所占空间，二是提高了数据的传输速度，在大数据环境下，这两点显的尤为重要。压缩主要应用在输入文件（Map的输入）、输出文件（Reduce的输出）及中间输出（只有Map，没有Reduce，Map的输出）。常用的压缩技术有两种，一种是无损压缩（Lossless compression），一种是有损压

2017-08-29 15:25:30 345

本文主要介绍如何使用 MapReduce 来操作 Hbase，使用 MapReduce将 HDFS 的文件导入到 hbase，从 HBase 实现备份数据到 HDFS，将 HBase 中的数据导入到 MySQL1.创建项目笔者使用的开发工具是idea，你也可以使用eclipse、myeclipse或其它工具，创建一个maven项目1.pom.xml 配置如下<?xml version="1.0" e

2017-08-29 14:45:54 994

原创 ZK

ZK的架构1.一个ZK集群中由一组Server节点构成 2.这一组Server节点中存在一个角色为Leader的节点，剩下的其他的节点都是Follower 3.当客户端Client连接到ZK集群时，并且执行读写请求，这些请求会被发送到Leader节点上 4.然后Leader上数据变更会同步到集群的其他的Follower节点 5.Leader节点接收到数据变更请求之后，首先将变更写入到本地磁盘

2017-08-02 13:58:48 518

原创 python操作数据库

Python连接数据库-----------需求准备：

2017-07-07 09:06:28 407

原创 java多线程和Python多线程

Java多线程 Java多线程的生命周期及五种基本状态如图所示: 线程的状态: 新建状态（New）：当线程对象对创建后，即进入了新建状态，如：Thread t = new MyThread(); 就绪状态（Runnable）：当调用线程对象的start()方法（t.start();），线程即进入就绪状态。处于就绪状态的线程，只是说明此线程已经做好了准备，随时等待CPU调

2017-06-28 09:47:15 1800

原创面向对象

定义类语法： class ClassName: 实例： class My: //声明一个My的类 name="李文杰" //定义个name的属性 def f(self): //顶一个方法 return '17' x=My() //实例化类 print("我的名字叫",My.name,

2017-06-19 17:04:12 228

原创 Python字典

字典的每个键值是对应的，并用冒号(:)来分割，每个对之间用逗号(,)分割，整个字典包括在大括号中{}，字典实现增删改查都是通过键来执行的。语法为: d = {key1 : value1, key2 : value2 } 实例： s={1:3,2:4,3:5,4:6,5:7}//声明一组字典 print(s[1])//查看s中键为1对应的值字典中的键是为一个，只可以有多个重复的。（如

2017-06-19 16:29:32 237

原创 python列表

python列表序列是Python中最基本的数据结构。序列中的每个元素都分配一个数字 - 它的位置，或索引，第一个索引是0，第二个索引是1，依此类推。列表是最常用的Python数据类型，可以作为一个方括号内的逗号分隔值出现，列表的数据项不需要具有相同的类型。 1.创建一个列表只要把逗号分隔的不同的数据项使用方括号括起来即可: a=[1,2,3,4,5]

2017-06-16 14:52:52 353

@李文杰的博客