2016年07月_往事随风ing

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 [负载均衡]-- tengine实现tomcat负载均衡

源码安装tengine-2.1.0单节点、实现tomcat负载均衡一、环境准备服务器：192.168.1.101 tomcat7、tengine192.168.1.102 tomcat7 1、下载tengine-2.1.0.tar.gz---->http://tengine.taobao.org/download_cn.html2、解压到192.16...

2016-07-30 14:33:40 1789

原创 [R开发工具]-- linux下源码安装R-3.1.2.tar.gz和RStudio开发工具

一、源码安装R语言(在linux下安装比较慢，一般需要30分钟左右) 1、下载R 安装包 R-3.1.2.tar.gz http://cran.rstudio.com/src/base/R-3/R-3.1.2.tar.gz 2、解压 tar xvf R-3.1.2.tar.gz 3、检查编译环境是否正常 #cd R-3.1.2...

2016-07-28 10:18:15 7576

原创 [环境变量]--环境变量配置汇总(windows和linux)

linux环境变量配置汇总

2016-07-27 22:17:30 820

原创 [Sqoop基础]-- sqoop导出hive数据到mysql避免空值

实现语句如下：sqoop export --connect jdbc:mysql://ip:3306/eqpt_base_db?characterEncoding=utf8 --username root --password secret_password --table A_JQZ_T_GAS_GET_ORDER_NUM_INFO_S --export-dir /user/hive/w...

2016-07-25 17:04:19 9550

转载 [Java进阶]-- BigDecimal的8种取值方式

通过查看BigDecimal源码API所知：java.math.BigDecimal不可变的、任意精度的有符号十进制数。BigDecimal 由任意精度的整数非标度值和32位的整数标度(scale)组成。如果为零或正数，则标度是小数点后的位数。如果为负数，则将该数的非标度值乘以10的负scale次幂。因此，BigDecimal表示的数值是(unscaledValue × 10-sc...

2016-07-23 15:06:45 7491

原创 [数据库]-- mysql建表语句

一、创建一个测试表CREATE TABLE t_test( id int(20) NOT NULL AUTO_INCREMENT comment '自增长id', student_no varchar(32) NOT NULL comment '学生编号', sys_time TIMESTAMP DEFAULT CUR...

2016-07-20 19:05:28 941

原创 [数据库]-- mysql建表时添加一个默认时间

一、可以建表drop table if exists t_test;CREATE TABLE t_test( Id int(20) NOT NULL AUTO_INCREMENT comment '自增长id', student_no varchar(32) NOT NULL comment '学生编号', sys_time TIMEST...

2016-07-20 18:50:32 9867

原创 [Hive基础]-- 查看hive 表在hdfs上的存储路径

1、执行hive，进入hive窗口2、执行show databases,查看所有的database;3、执行use origin_ennenergy_onecard; 则使用origin_ennenergy_onecard数据库4、执行show create table M_BD_T_GAS_ORDER_INFO_H;则可以查看table在hdfs上的存储路径如下：hive (...

2016-07-19 12:33:08 50957 2

原创 [Hive基础]-- hive空值判断

hive中空值判断基本分两种：1、NULL 与 \Nhive在底层数据中如何保存和标识NULL，是由 alter table name SET SERDEPROPERTIES('serialization.null.format' = '\N'); 参数控制的比如： (1).设置 alter table name SET SERDEPROPERTIES...

2016-07-18 20:28:03 12352

原创 [Sqoop基础]-- sqoop导出hive表到mysql中

一、sqoop导出hive表到mysql中:实现语句：sqoop export --connect jdbc:mysql://ip:3306/application?characterEncoding=utf-8 --username root --password secret_password --table uv_info --export-dir /user/hive/w...

2016-07-18 20:06:14 4355

原创 [集群规划]-- 大数据测试机器和生产机器的配置

一、测试机器(共11台)：除了这6台外，还有单独的物理机器：2台mysql机器、1台kafka机器、2台nginx服务器二、生产机器(18台)：生产机器除了这13台以外还有：2台mysql机器、1台kafka机器、2台nginx服务器。 cpu的负载能力：详细解释：http://blog.sina.com.cn/s/blog_6090a6ba0101kac...

2016-07-18 18:58:15 3020

原创 [Spark应用]-- 创建单例的kafka链接

一、创建一个单例的spark streaming kafka链接类:KafkaGetStreamUtil.javaimport enn.bean.SparkProperties;import kafka.serializer.StringDecoder;import org.apache.spark.SparkConf;import org.apache.spark.streamin...

2016-07-18 13:22:48 2842

原创 [Yarn基础]-- yarn application -kill jobid

CDH中kill application的方式：1、找到yarn命令，如果命令没有可执行权限，那么需要添加#sudo chmod +x bin2、找到job的id:通过点击cloudrea manager中的主机-----》host27.master---->点击红框 ----》点击进入机器的8088端口url： http://host...

2016-07-18 13:06:14 19929

原创 [Java基础]-- 实现请求url或者restful webservice的方式

目前常用的请求方式有:httpclient和httpurl方式，但是常用的是httpclient。目前csdn的代码块编辑报错，只能直接贴代码了。一、传统方式实现请求url，参数是字符串 import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import...

2016-07-17 19:22:53 6009 8

原创 [Spark streaming举例]-- yarn-cluster运行spark streaming问题

一、本地运行spark出现的错误Exception in thread "main" java.lang.VerifyError:class com.fasterxml.jackson.module.scala.ser.ScalaIteratorSerializer overrides final method withResolved.(Lcom/fasterxml/jackson/...

2016-07-17 09:51:35 9599 2

原创 [Idea 使用]-- 防止idea每次都默认以1.5版本编译的maven设置

常常在maven项目中，每次reimport后，Target bytecode version都会恢复到1.5版本编译，以致每次都要通过---》Compiler----->选择Target bytecode version版本，所以为了省事，我在maven的pom.xml中添加了如下红色字体配置。在项目中添加如下配置即可： <properties> ...

2016-07-16 21:48:12 10684 3

原创 [FastJson举例]-- fastjson解析

1、引入fastjson jar 包<dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.1.41</version&a

2016-07-13 10:55:37 701

原创 [Java基础]-- java实现多线程的一种简单方式

新建一个Thread类，实现Runable接口：代码实现如下 package test.local;/** * Document:本类作用----> * User: yangjf * Date: 2016072016/7/1021:07 */public class TheadTest { public static void createString()...

2016-07-10 21:15:04 591

原创 [Linux基础]-- linux下设置强制访问和打开文件数

1、如果安装cdh版本的hadoop,则需要设置 SELinux的命令从fedora core 2开始， 2.6内核的版本都支持selinux.我们看看 Fedora core 5 里的/etc/sysconfig/selinux标准设定吧。# This file controls the state of SELinux on the system.# SELINUX=...

2016-07-09 23:23:59 969

原创 [Spark-内置函数使用]--spark实现UV统计

spark实现UV统计

2016-07-09 14:35:12 1720

原创 [数据库汇总]-- linux mysql中文乱码问题解决方式

常常在使用Navicat或者JDBC插入数据到mysql时，会遇见中文乱码问题，这时怎么解决问题呢？请看下面的总结：1、建表时没有指定统一的编码格式导致错误的建表方式： CREATE TABLE database_user( ID varchar(40) , UserID varchar(40) ) 正确的建表方式：...

2016-07-09 12:32:47 594

原创 [Redis基础]-- Redis的HA搭建和主从复制搭建以及测试

Linux Redis主从复制\切换安装、测试软件版本：redis-3.0.7,必须使用该稳定版本否则会错各种问题基本安装步骤：Redis安装（三个节点）安装相关编译的依赖包# yum -y install gcc make安装redis（三个节点）软件上传到/opt目录# cd /opt/# tar -zxvf redis-3.0.7.tar.gz# mv redis-3.0.7/ redi...

2016-07-08 16:03:45 1194

原创 [数据库汇总]-- mysql双机热备实现（mysql版本：5.1.7）

mysql双机热备实现yum安装的mysql版本 5.1.73mysql主从复制(双机热备)，步骤如下： 1、主从服务器分别作以下操作： 1.1、版本一致，机器：192.168.1.101（主）、192.168.1.102（从），同时192.168.1.101(从）、192.168.1.102（主） 1.2、初始化表，并在后台启动mysql 1.3、修改mys...

2016-07-08 11:15:23 1348

原创 [数据库汇总]-- mysql源码rmp包的安装步骤

RedHat Enterprise Linux Server 5.0下安装mysql5.1.25一.到mysql的网站(必须到官方网站下载,防止数据被修改,纂改过)下载三个必须rpm 安装包:MySQL-server-community-5.1.25-0.rhel5.i386.rpmMySQL-client-community-5.1.25-0.rhel5.i386.rpmperl...

2016-07-07 13:52:44 852

翻译 [Java web]-- spring 官方对REST的定义

一、 Understanding REST(理解REST)原文：REST (Representational State Transfer----》具象状态传输) was introduced and defined in 2000 by Roy Fielding in his doctoral dissertation.REST is an architectural style for...

2016-07-06 23:22:06 1026

原创 [Mysql基础]-- mysql主从复制(mysql 5.1.73)

查看版本：select version();mysql主从复制(准备两台机器)，步骤如下：1、主从服务器分别作以下操作：版本一致初始化表，并在后台启动mysql 修改root的密码2、修改主服务器master: #vi /etc/my.cnf [mysqld] log-bin=mysql-bin //[必须]启...

2016-07-04 22:52:14 1723

原创 [Redis基础]-- Linux Redis集群安装

Linux Redis集群安装软件版本：redis-3.0.7,必须使用该稳定版本否则会错各种问题IP地址：节点1：192.168.1.101:7000 主节点节点2：192.168.1.101:7001 从节点节点3：192.168.1.102:7002 主节点节点4：192.168.1.102:7003 从节点节点5：192.168.1.103:7004 主节点节点6：...

2016-07-04 16:31:35 810

原创 [Redis基础]-- Linux Redis副本集安装(redis-3.0.7)

Linux Redis副本集安装软件版本：redis-3.0.7,必须使用该稳定版本否则会错各种问题IP地址：节点1：192.168.1.101 主节点节点2：192.168.1.102 从节点节点3：192.168.1.103 从节点Redis安装（三个节点）1：安装相关编译的依赖包# yum -y install gcc make2：安装redis（三个节点）软件上传到/opt...

2016-07-04 16:30:21 1788