我们的征途是星辰大海

原创 吐槽我听到的一家小创业公司的故事

这家公司locateed in大北京，之所以说这家公司，是因为有个关系很好的闺蜜在这家公司。这家公司是做家政服务起家的，做了几年，公司应该也算是站稳了脚，但是好像是始终没有脱离开小公司基因的那种感觉。 之前闺蜜所在的公司，从去年创业失败之后，技术人员就被合并到了相当于主公司吧，主要做公司自己这一个产品，语言是PHP。the story is on! 原来...

原创 Shell特殊变量

echo "current file name: $0" echo "params : $1 ,$2 " echo "params num : $#"

原创 VIM常用指令

原创 Bash shell 常用快捷键

1，ctrl+c  ：强制终止当前命令        2，ctrl+l   ：清屏        3，ctrl+a  ：光标移动到行首        4，ctrl+e   ：光标移动到行尾        5，ctrl+u   :从光标所在位置删除到行首 6，ctrl+z   :把命令放入到后台 7，ctrl+r :在历史命令中搜索

原创 Linux帮助命令

一，man命令man  +命令二，选项帮助命令 --help#获取命令选项的帮助三，shell内部命令帮助help shell 内部 命令#获取shell内部命令帮助例如： whereis cd  #确定是否是shell内部命令        help cd        #获取内部命令帮助四，详细命令帮助info

原创 Linux文件搜索命令

一，locate命令locate +文件名 ：在后台数据库中按文件名，优点是搜索速度更快，缺点是只能按照文件名称来搜索；locate命令所搜索的数据库会在 /var/lib/mlocate 这里搜索；默认数据库是一天一更新；对于新建的文件，需要强制更新数据库（updatedb）才能搜索到；二，搜索命令的命令 whereis搜索命令所在的路径及帮助文档所在位置选项：   -b  :只查找可执行文件

原创 2016小结

现在是2017年1月23日21:56:08，今天回家过年了！先祝大家新年快乐。 然后按照惯例，总结下今年都做了些什么： 1，首先，回到去年的这个时候，因为一些原因，暂时离开了北京那时候我心里是非常复杂的，导致我开始反思我这几年来的一些事。 我也开始意识到，我其实有时候，不必为了一些没有的事情烦恼，专心做好眼下的事情最要紧。...

原创 Android——蓝牙利用RSSI进行距离测算

算法：/** * 功能：根据rssi计算距离 * Created by liuhuichao on 2017/1/17. */public class RssiUtil { //A和n的值，需要根据实际环境进行检测得出 private static final double A_Value=50;/**A - 发射端和接收端相隔1米时的信号强度*/...

原创 能源物联网中如何处理上报的大量数据问题的思路分析（题目有点长，但是我不介意它更长）--后续会继续补充

V1.0 今年年底，随着运营的新能源车的增多，车辆上报上来的各种can消息也飞速增长，传统的关系型数据库已经无法满足存储的需要，因为转而向非关系型数据库去寻求帮助。目前面临的问题： 1，数据存储：large，粗略估计，明年预计每日过4亿； 2，can消息频繁上报，造成入库不及时的堆积问题：入库太慢，然而上报太快； ...

原创 Linux常用文件权限控制命令

一，查看文件属主属组ls -l[root@localhost app]# ls -ltotal 302832drwxr-xr-x. 4 lhc lhc 4096 Nov 18 16:05 apache-phoenix-4.9.0-HBase-1.2-bin-rw-r--r--. 1 root root 279075757 Dec 16 01:47 apache-phoenix-

原创 Git 解决添加到.gitignore的忽略项不生效的问题

今天又在.gitignore添加了一些忽略项，但是后来发现一些东西命名配置了忽略项却还是没起作用，so,分析原因，可能是在我添加忽略项之前，因为这些文件就早已经被提交了，所有他们已经在版本控制中，导致忽略项没有起作用。so:     只需使用：git update-index --assume-unchanged +文件名称更新即可。

原创 log4j配置单独日志文件输出

log4j.logger.batteryHistory=ERROR,BDlog4j.appender.BD=org.apache.log4j.FileAppenderlog4j.appender.BD.File=../logs/batteryDataHistory.loglog4j.additivity.BD=falselog4j.appender.BD.Append = truelog

原创 MapReduce(一)

分布式并行编程框架特点：    MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数：Map和Reduce•编程容易，不需要掌握分布式并行编程细节，也可以很容易把自己的程序运行在分布式系统上，完成海量数据的计算；    •MapReduce采用“分而治之”策略，一个存储在分布式文件系统中的大规模数据集，会被切分成许多独立的分片（split），这些分片可以被多个Map任

原创 Hbase操作table常见方法示例

首先上我的输出类：/** * 功能：电池历史数据数据结构 * Created by liuhuichao on 2016/12/5. */public class ResBatteryDataHistory implements Serializable { private String batteryNo; private Integer batteryType;

原创 HBase数据访问的一些常用方式

类型 特点 场合 优缺点分析 Native Java API 最常规和高效的访问方式 适合MapReduce作业并行批处理HBase表数据     Hbase Shell HBase的命令行工具，最简单的访问方式 适合HBase管理使用   Thrift GateWay 利用Thrift序列化技术，支持c++,PHP,Python等多种语言 适合其他

原创 HBase的Rowkey设计（mark）

在HBase中细节上的设计，最最最重要的就是我该选取什么做Rowkey，Rowkey的选择，最直接的影响就是对你之后分析数据的影响了。 Rowkey是不可分割的字节数，按照字典排序由低到高存储在表中。一个空的数组用来标识表空间的起始或结尾。 在设计HBase表时，Rowkey设计是最重要的事情，应该基于预期的访问模式来为Rowkey建模。Ro...

原创 HBase数据模型的一些概念

首先来先理解一个概念：HBase是一种列式存储的分布式数据库。表             在HBase中数据以表的形式存储。使用表的主要原因是把某些列组织起来一起访问，同一个表中的数据通常是相关的，通过列族进一步把一些列组织起来一起访问。用户可以通过命令行或者Java API来创建表。表明通常使用Java Stirng 类型或者byte数组表示，表名作为HDFS存储路径的一部分来使用，因此必须要符

原创 HBase数据结构（读书笔记 ）

背景：     最近在做一些跟大数据相关的东西，涉及到数据的存储和分析，考虑各个方面，选择使用HBase进行存储，使用原生Java API进行数据分析，之后会陆续写一系列来说明最近做的东西，给像我这样未曾涉及过这个领域的人一点儿idea。引言：     HBase以表的方式组织数据源，这一点跟关系型数据库时一样的，在我们的application里面，通过API/Thrift、或者各种SQL引擎，将

原创 HBase常用命令汇总——综述（一）

hbase(main):009:0> helpHBase Shell, version 1.2.4, r67592f3d062743907f8c5ae00dbbe1ae4f69e5af, Tue Oct 25 18:10:20 CDT 2016Type 'help "COMMAND"', (e.g. 'help "get"' -- the quotes are necessary) for

原创 HBase核心功能模块--读书笔记

客户端Client 客户端 Client 是整个 HBase 系统的入口。使用者直接通过客户端操作 HBase。客户端使用 HBase 的 RPC 机制与 HMaster 和 RegionServer进行通信。对于管理类操作，Client 与HMaster 进行 RPC 通信；对于数据读写类操作，Client 与RegionServer 进行 RPC 交互。这里客户端可以是多个，并不限定是原生 J

原创 Why HBase

3.1.1,为什么选用HBasesa)      容量巨大HBase 的单表可以有百亿行、百万列，数据矩阵横向和纵向两个维度所支持的数据量级都非常具有弹性。传统的关系型数据库，如 Oracle 和 MySQL 等，如果数据记录在亿级别，查询和写入的性能都会呈指数级下降，所以更大的数据量级对传统数据库来讲是一种灾难。而 HBase 对于存储百亿、千亿甚至更多的数据都不存在任何问题。对于高维数据，百万

原创 HBase——使用Put迁移MySql数据到Hbase

先上code:/** * 功能：迁移mysql上电池历史数据到hbase * Created by liuhuichao on 2016/12/6. */public class MySqlToHBase { /** * 获取表 * @param tableName * @return * @throws IOException

原创 使用Java Api 对HBase进行简单操作

/** * 功能：测试Hbase基本的增删改查操作 * Created by liuhuichao on 2016/12/5. */public class HbaseCRUDTest { public static Configuration configuration; static{ configuration= HBaseConfiguration

原创 Hbase单机安装及使用hbase shell进行简单操作

一，配置环境变量在etc/prifile中加入java环境变量及hbase环境变量：#set java environmentJAVA_HOME=/usr/local/lhc/jdk1.8.0_111PATH=$JAVA_HOME/bin:$PATHCLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jarexport PATH JA

原创 Spring整合ActiveMQ

一，加入pom配置 junit junit 4.10 test org.springframework spring-context ${

原创 Hadoop项目结构

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。    用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。    Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high

原创 Java——RMI

之前分布式系统调用用的是比较老的EJB，当时还是作为服务调用方，去调用别的系统的服务。最近发现新公司里面，用的是RMI，查了下发现EJB的底层实现就是RMI，也算是熟悉了。。。 一，使用JDK 中的RMI实现服务发布和引用服务端接口：/** * Created by LiuHuiChao on 2016/11/18. */public interface UserInfoService ex

原创 Mysql优化分页

背景： 库里面有张表，日增数据量百万条；        之前查询：         SELECT *FROM `res_battery_data_history`LIMIT 1797000,10;优化方法1：/*SELECT * FROM `res_battery_data_history` limit 1797000,10;*/SELECT *FROM res_battery_d

原创 Java——基于java自身包实现消息系统间的通信（TCP/IP+NIO）

/** * Created by LiuHuiChao on 2016/11/15. * description:based on TCP/IP+NIO to deliver the message */public class TCP_IP_NIO { @Test public void clientStart() throws IOException {

原创 Java——基于java自身包实现消息系统间的通信（TCP/IP+BIO）

最近看到阿里的以为童鞋写的一本关于分布式的书，感觉不错，准备把这本书上基础的代码都写一写。/** * Created by LiuHuiChao on 2016/11/15. * description:based on TCP/IP+BIO to deliver the message */public class TCP_IP_BIO { /** * client端

原创 Web前端优化常用规则

一，尽量减少HTTP请求二，使用CDN（内容分发网络）三，添加Expire/Cache-Control头四，启用Gzip压缩五，将CSS放在层叠样式表放到head里面六，将Script放到页面最下面七，在CSS中使用Expressions八，把Js和CSS放到外部文件中九，减少DNS查询十，压缩JS和Css代码十一，避免重定向十二，移除重复的脚本十三，配置实体表情（ETag）十四，使用AJAX缓存

原创 微服务架构（Microservice Architect Pattern）综述——什么是微服务架构（读书笔记）

简单定义：     微服务架构是一种架构模式，它提倡将单一应用程序划分成一组小的服务，服务之间相互协调，相互配合，为用户提供最终价值。每个服务运行在其独立的进程中，服务与服务间采用轻量级的通信机制相互沟通（通常是基于HTTP的RESTFul API）,每个服务都围绕着具体的业务进行构建，并且能够被独立的部署到生产环境，类生成环境等。另外，应尽量避免统一的，集中式的服务管理机制，对具体的一个服务而言

原创 单块架构应用及其面临的挑战（读书笔记）

三层架构的出现，解决了系统间调用复杂，职责不清的问题，有效的降低了层与层之间的依赖关系，这是传统三层的优势。   但是虽然三层架构将系统在逻辑上分成了三层，但它并不是物理上的分层。也就是说，对于不同层的代码而言，经理编译，打包，部署之后，所有的代码最终还是运行在同一个进程中。    对于这种功能集中，代码中心化，一个发布包，部署后运行在同一进程中的应用程序，我们称之为单块架构应用。    随着业务

原创 Java String源码解析

public final class String implements java.io.Serializable, Comparable, CharSequence { /** The value is used for character storage. */ private final char value[]; /** Cache the hash co

原创 Netty示例

一，服务端** * 测试Netty类库：服务端代码 * Created by LiuHuiChao on 2016/10/24. */public class NettyServerTest { private int port; public NettyServerTest(int port){ this.port=port; } /**

原创 Netty概述

一，介绍     Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。 也就是说，Netty 是一个基于NIO的客户，服务器端编程框架，使用Netty 可以确保你快速和简单的开发出一个网络应用，例如实现了某种协议的客户，服务端应用。Netty相当简化 和流线化了网络应用的编程开发过程，例如

原创 Spring源码分析——JdbcTemplate执行批量insert操作

最近用到一个方法：@Override public int[] batchUpdate(String sql, final BatchPreparedStatementSetter pss) throws DataAccessException { if (logger.isDebugEnabled()) { logger.debug("Executing SQL batch upda

原创 mySql——case when else ....demo

DROP PROCEDURE IF EXISTS Pro_query_change_charge_by_layer_report;CREATE PROCEDURE Pro_query_change_charge_by_layer_report ( IN cityCode varchar(32),/*城市code*/ IN areaCode varchar(16),/*区域code*/ I

原创 MySql 使用explain分析查询

今天写了个慢到哭的查询，想用explain分析下执行计划，后来发现explain也是有局限性的：EXPLAIN不会告诉你关于触发器、存储过程的信息或用户自定义函数对查询的影响情况•EXPLAIN不考虑各种Cache•EXPLAIN不能显示MySQL在执行查询时所作的优化工作•部分统计信息是估算的，并非精确值•EXPALIN只能解释SELECT操作，其他操作要重写为SELECT后查看执行计划

原创 MySql——查看数据库性能基本参数

使用show status可以查看数据库性能的参数，基本语法：show status like 'value';例如：show status like 'Connections';/*连接mysql服务器的次数*/show status like 'Uptime';/*mysql服务器的上线时间*/show status like 'slow_queries';/*慢查询的次数*/show