- 博客(28)
- 资源 (10)
- 收藏
- 关注
原创 [负载均衡]-- tengine实现tomcat负载均衡
源码安装tengine-2.1.0单节点、实现tomcat负载均衡 一、环境准备服务器:192.168.1.101 tomcat7、tengine192.168.1.102 tomcat7 1、下载tengine-2.1.0.tar.gz---->http://tengine.taobao.org/download_cn.html2、解压到192.16...
2016-07-30 14:33:40 1820
原创 [R开发工具]-- linux下源码安装R-3.1.2.tar.gz和RStudio开发工具
一、源码安装R语言(在linux下安装比较慢,一般需要30分钟左右) 1、下载R 安装包 R-3.1.2.tar.gz http://cran.rstudio.com/src/base/R-3/R-3.1.2.tar.gz 2、解压 tar xvf R-3.1.2.tar.gz 3、检查编译环境是否正常 #cd R-3.1.2...
2016-07-28 10:18:15 7632
原创 [Sqoop基础]-- sqoop导出hive数据到mysql避免空值
实现语句如下:sqoop export --connect jdbc:mysql://ip:3306/eqpt_base_db?characterEncoding=utf8 --username root --password secret_password --table A_JQZ_T_GAS_GET_ORDER_NUM_INFO_S --export-dir /user/hive/w...
2016-07-25 17:04:19 9594
转载 [Java进阶]-- BigDecimal的8种取值方式
通过查看BigDecimal源码API所知:java.math.BigDecimal不可变的、任意精度的有符号十进制数。BigDecimal 由任意精度的整数非标度值和32位的整数标度(scale)组成。如果为零或正数,则标度是小数点后的位数。如果为负数,则将该数的非标度值乘以10的负scale次幂。因此,BigDecimal表示的数值是(unscaledValue × 10-sc...
2016-07-23 15:06:45 7640
原创 [数据库]-- mysql建表语句
一、创建一个测试表CREATE TABLE t_test( id int(20) NOT NULL AUTO_INCREMENT comment '自增长id', student_no varchar(32) NOT NULL comment '学生编号', sys_time TIMESTAMP DEFAULT CUR...
2016-07-20 19:05:28 957
原创 [数据库]-- mysql建表时添加一个默认时间
一、可以建表drop table if exists t_test;CREATE TABLE t_test( Id int(20) NOT NULL AUTO_INCREMENT comment '自增长id', student_no varchar(32) NOT NULL comment '学生编号', sys_time TIMEST...
2016-07-20 18:50:32 9897
原创 [Hive基础]-- 查看hive 表在hdfs上的存储路径
1、执行hive,进入hive窗口2、执行show databases,查看所有的database;3、执行use origin_ennenergy_onecard; 则使用origin_ennenergy_onecard数据库4、执行show create table M_BD_T_GAS_ORDER_INFO_H;则可以查看table在hdfs上的存储路径如下:hive (...
2016-07-19 12:33:08 51302 2
原创 [Hive基础]-- hive空值判断
hive中空值判断基本分两种:1、NULL 与 \Nhive在底层数据中如何保存和标识NULL,是由 alter table name SET SERDEPROPERTIES('serialization.null.format' = '\N'); 参数控制的比如: (1).设置 alter table name SET SERDEPROPERTIES...
2016-07-18 20:28:03 12429
原创 [Sqoop基础]-- sqoop导出hive表到mysql中
一、sqoop导出hive表到mysql中:实现语句:sqoop export --connect jdbc:mysql://ip:3306/application?characterEncoding=utf-8 --username root --password secret_password --table uv_info --export-dir /user/hive/w...
2016-07-18 20:06:14 4372
原创 [集群规划]-- 大数据测试机器和生产机器的配置
一、测试机器(共11台):除了这6台外,还有单独的物理机器:2台mysql机器、1台kafka机器、2台nginx服务器 二、生产机器(18台):生产机器除了这13台以外还有:2台mysql机器、1台kafka机器、2台nginx服务器。 cpu的负载能力:详细解释:http://blog.sina.com.cn/s/blog_6090a6ba0101kac...
2016-07-18 18:58:15 3045
原创 [Spark应用]-- 创建单例的kafka链接
一、创建一个单例的spark streaming kafka链接类:KafkaGetStreamUtil.javaimport enn.bean.SparkProperties;import kafka.serializer.StringDecoder;import org.apache.spark.SparkConf;import org.apache.spark.streamin...
2016-07-18 13:22:48 2867
原创 [Yarn基础]-- yarn application -kill jobid
CDH中kill application的方式:1、找到yarn命令,如果命令没有可执行权限,那么需要添加#sudo chmod +x bin2、找到job的id:通过点击cloudrea manager中的主机-----》host27.master---->点击 红框 ----》点击进入机器的8088端口url: http://host...
2016-07-18 13:06:14 20102
原创 [Java基础]-- 实现请求url或者restful webservice的方式
目前常用的请求方式有:httpclient和httpurl方式,但是常用的是httpclient。目前csdn的代码块编辑报错,只能直接贴代码了。一、传统方式实现请求url,参数是字符串 import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import...
2016-07-17 19:22:53 6039 8
原创 [Spark streaming举例]-- yarn-cluster运行spark streaming问题
一、本地运行spark出现的错误Exception in thread "main" java.lang.VerifyError:class com.fasterxml.jackson.module.scala.ser.ScalaIteratorSerializer overrides final method withResolved.(Lcom/fasterxml/jackson/...
2016-07-17 09:51:35 9648 2
原创 [Idea 使用]-- 防止idea每次都默认以1.5版本编译的maven设置
常常在maven项目中,每次reimport后,Target bytecode version都会恢复到1.5版本编译,以致每次都要通过---》Compiler----->选择Target bytecode version版本,所以为了省事,我在maven的pom.xml中添加了如下红色字体配置。 在项目中添加如下配置即可: <properties> ...
2016-07-16 21:48:12 10748 3
原创 [FastJson举例]-- fastjson解析
1、引入fastjson jar 包<!-- json --><dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.1.41</version&a
2016-07-13 10:55:37 721
原创 [Java基础]-- java实现多线程的一种简单方式
新建一个Thread类,实现Runable接口:代码实现如下 package test.local;/** * Document:本类作用----> * User: yangjf * Date: 2016072016/7/1021:07 */public class TheadTest { public static void createString()...
2016-07-10 21:15:04 603
原创 [Linux基础]-- linux下设置强制访问和打开文件数
1、如果安装cdh版本的hadoop,则需要设置 SELinux的命令 从fedora core 2开始, 2.6内核的版本都支持selinux.我们看看 Fedora core 5 里的/etc/sysconfig/selinux标准设定吧。# This file controls the state of SELinux on the system.# SELINUX=...
2016-07-09 23:23:59 987
原创 [数据库汇总]-- linux mysql中文乱码问题解决方式
常常在使用Navicat或者JDBC插入数据到mysql时,会遇见中文乱码问题,这时怎么解决问题呢?请看下面的总结:1、建表时没有指定统一的编码格式导致 错误的建表方式: CREATE TABLE database_user( ID varchar(40) , UserID varchar(40) ) 正确的建表方式:...
2016-07-09 12:32:47 613
原创 [Redis基础]-- Redis的HA搭建和主从复制搭建以及测试
Linux Redis主从复制\切换安装、测试软件版本:redis-3.0.7,必须使用该稳定版本否则会错各种问题基本安装步骤:Redis安装(三个节点)安装相关编译的依赖包# yum -y install gcc make安装redis(三个节点)软件上传到/opt目录# cd /opt/# tar -zxvf redis-3.0.7.tar.gz# mv redis-3.0.7/ redi...
2016-07-08 16:03:45 1211
原创 [数据库汇总]-- mysql双机热备实现(mysql版本:5.1.7)
mysql双机热备实现yum安装的mysql版本 5.1.73mysql主从复制(双机热备),步骤如下: 1、主从服务器分别作以下操作: 1.1、版本一致,机器:192.168.1.101(主)、192.168.1.102(从),同时192.168.1.101(从)、192.168.1.102(主) 1.2、初始化表,并在后台启动mysql 1.3、修改mys...
2016-07-08 11:15:23 1365
原创 [数据库汇总]-- mysql源码rmp包的安装步骤
RedHat Enterprise Linux Server 5.0下安装mysql5.1.25一.到mysql的网站(必须到官方网站下载,防止数据被修改,纂改过)下载三个必须rpm 安装包:MySQL-server-community-5.1.25-0.rhel5.i386.rpmMySQL-client-community-5.1.25-0.rhel5.i386.rpmperl...
2016-07-07 13:52:44 875
翻译 [Java web]-- spring 官方对REST的定义
一、 Understanding REST(理解REST)原文:REST (Representational State Transfer----》具象状态传输) was introduced and defined in 2000 by Roy Fielding in his doctoral dissertation.REST is an architectural style for...
2016-07-06 23:22:06 1042
原创 [Mysql基础]-- mysql主从复制(mysql 5.1.73)
查看版本:select version();mysql主从复制(准备两台机器),步骤如下:1、主从服务器分别作以下操作: 版本一致 初始化表,并在后台启动mysql 修改root的密码2、修改主服务器master: #vi /etc/my.cnf [mysqld] log-bin=mysql-bin //[必须]启...
2016-07-04 22:52:14 1750
原创 [Redis基础]-- Linux Redis集群安装
Linux Redis集群安装软件版本:redis-3.0.7,必须使用该稳定版本否则会错各种问题IP地址:节点1:192.168.1.101:7000 主节点节点2:192.168.1.101:7001 从节点节点3:192.168.1.102:7002 主节点节点4:192.168.1.102:7003 从节点节点5:192.168.1.103:7004 主节点节点6:...
2016-07-04 16:31:35 825
原创 [Redis基础]-- Linux Redis副本集安装(redis-3.0.7)
Linux Redis副本集安装软件版本:redis-3.0.7,必须使用该稳定版本否则会错各种问题IP地址:节点1:192.168.1.101 主节点节点2:192.168.1.102 从节点节点3:192.168.1.103 从节点Redis安装(三个节点)1:安装相关编译的依赖包# yum -y install gcc make2:安装redis(三个节点)软件上传到/opt...
2016-07-04 16:30:21 1813
Canal开源产品介绍
2018-08-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人