wql_zero-CSDN博客

原创 Dubbo之ExtensionLoader源码分析

代码入口ServiceConfig类private static final Protocol protocol = ExtensionLoader.getExtensionLoader(Protocol.class).getAdaptiveExtension();最终返回的结果：Protocol$Adaptive方法调用流程图getExtensionLoader源...

2019-12-27 11:31:23 164

原创 Dubbo 服务订阅源码分析

Dubbo 服务引用的时机有两个：第一个是在 Spring 容器调用 ReferenceBean 的 afterPropertiesSet 方法时引用服务第二个是在 ReferenceBean 对应的服务被注入到其他类中时引用。这两个引用服务的时机区别在于，第一个是饿汉式的，第二个是懒汉式的。默认情况下，Dubbo 使用懒汉式引用服务。如果需要使用饿汉式，可通过配置 <dub...

2019-12-26 16:36:50 389

原创 Sqoop import OR export

数据来源：1：关系性数据库 sqoop(Sql To Hadoop)2：文件（Flume实时抽取数据）任务调度：Ooziehadoop生态系统中重要的框架，需要监控(统一WEB UI界面)1：下载Sqoop官网：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.htmlSqoop依赖于hadoop，Sqoop底层实现就是M...

2019-03-27 16:15:49 164

原创 Spark Streaming之Receive分发

以Socket为例，SocketInputDStream对应的流数据接收器为SocketReceiver，在SocketInputDStream中通过getReceiver方法获取该流数据接收器：在StreamingContext启动过程中，ReceiverTracker会把流数据接收器Receiver分发到Executor上，在每个Executor上，由ReceiverSuper...

2019-01-07 22:51:54 404

原创 SpringBoot+Mybatis

第一种方式：使用XML构建SqlSessionFactory（工作中常见）1：构建POJOpublic class User { private int id; private String name; private int age; private String describe; private float height; pub...

2019-01-07 21:09:35 142

原创 hadoop3.x集群安装

Hadoop版本Hadoop集群节点分配Hadoop3.x端口变化1：安装系统2：确定hostname[root@bigdata1 jdk]# cat /etc/sysconfig/networkNETWORKING=yesHOSTNAME=master3：设置网络4：设置hosts[root@bigdata1 jdk]# cat /etc/...

2020-01-05 22:34:27 161

原创 ubuntu编译hadoop2.7问题

wql@wql-pc:~/app$ sudo apt-get install libssl-dev正在读取软件包列表... 完成正在分析软件包的依赖关系树正在读取状态信息... 完成有一些软件包无法被安装。如果您用的是 unstable 发行版，这也许是因为系统无法达到您要求的状态造成的。该版本中可能会有一些您需要的软件包尚未被创建或是它们已被从新到(Inc...

2019-03-16 10:07:40 194

原创将本地项目传入gitHub中

具体步骤如下：1:git init2:git status3:git add -A4:git commit -m 'init'5:github上创建项目目录(项目名与本地项目名一致)6：git remote add origin https://github.com/wangqinli123/sca_log_parse.git 7:git fetch8:git pull ori...

2019-03-13 11:02:10 91

原创 Hive之JDBC连接数据库

package com.itheima.hadoop.hive;import java.sql.SQLException;import java.sql.Connection;import java.sql.ResultSet;import java.sql.Statement;import java.sql.DriverManager;public class HiveJdbc...

2019-03-13 06:59:49 822

原创 Hive客户端连接

Hive连接方式：cd /home/wql/app/apache-hive-1.2.2-bin/bin;nohup hiveserver2 1>/home/wql/app/logs/hiveserver.log 2>/home/wql/app/logs/hiveserver.err &wql@wql-pc:~/app/apache-hive-1.2.2-bin/bin$...

2019-03-13 06:58:44 829

原创 Hive查询实例

数据查询：SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP BY col_list] [ORDER BY col_list] [CLUSTER BY col_list | [DISTRIBUTE BY co...

2019-03-11 16:03:17 445

原创 Hive数据导出导入操作

1:导入数据进入到Hive表：LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]实例：1）加载本地数据到Hive表：load data local inpath '/home/wql/app/hData/em...

2019-03-11 16:02:12 179

原创 Hive分区表

分区表：分区表实际上就是对应一个HDFS文件系统上独立的文件夹，该文件夹下是该分区所有的数据文件，Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成更小的数据集；在查询时通过where子句中的表达式来选择查询所需要的指定的分区，这样的查询效率会提高很多；CREATE EXTERNAL TABLE IF NOT EXISTS default.emp_partition(e...

2019-03-11 15:59:37 118

原创 Hive内部表&外部表

内部表&外部表未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定；删除内部...

2019-03-11 15:58:27 112

原创 Hive基本操作

创建表：create table person(id bigint,name string,age bigint) row format delimited fields terminated by ",";导入数据：load data local inpath '/home/wql/app/hData/person.txt' into table person;load data i...

2019-03-11 15:56:40 73

转载 @Data 注解引出的 lombok

官网：https://projectlombok.org/features/all注解类型：val : 和 scala 中 val 同名, 可以在运行时确定类型;@NonNull : 注解在参数上, 如果该类参数为 null , 就会报出异常, throw new NullPointException(参数名)@Cleanup : 注释在引用变量前, 自动回收资源默认调用 cl...

2019-03-11 15:51:12 121

原创 springBoot之NoSQL(Elasticsearch)

@Resource和@Autowired@Resource的作用相当于@Autowired，只不过@Autowired按byType自动注入，而@Resource默认按 byName自动注入罢了。@Resource有两个属性是比较重要的，分是name和type，Spring将@Resource注解的name属性解析为bean的名字，而type属性则解析为bean的类型。所以如果使用name属性...

2019-03-11 15:36:41 524

原创 logstash + kafka

logstash和kafka整合首先要注意软件版本之间的兼容性；logstash 2.3.1kafka 2.11-0.8.2.2第一步：启动zookeepercd /home/wql/app/zookeeper-3.4.10./bin/zkServer.sh start第二步：启动kafkacd /home/wql/app/kafka/binnohup ./kafk...

2019-01-08 23:11:28 473

原创 Spark Streaming之容错性

为了保证系统的高容错性，Spark Streaming期初考虑到如下情况：1：利用spark本身的容错设计，存储级别（MEMORY_AND_DISK_2）和RDD抽象设计能够处理集群中任何Worker节点的故障；2：由于spark运行多种运行模式，器Driver端可能运行在Master节点或者在集群中的任意节点上，这样让Driver端具备容错能力是一个很大的挑战，但是由于SparkStre...

2019-01-08 22:03:37 558

原创代码坏味道

22中常见的代码坏味道 Duplicated Code(重复代码)解决方式：1：同一个类的两个函数含有相同的表达式,采用Extract Method；2：两个互为兄弟的子类中内含有相同的表达式,采用Extract Method,然后在对提炼出来的代码使用Pull Up Method,将他推入超类中；3：两个毫无关系的类出现代码重复,应该考虑对其中一个类使用Extract M...

2018-07-19 17:42:45 752

原创多表关联数据

show variables like 'character_set%';create table students(id int primary key auto_increment,name varchar(20))ENGINE= MYISAM CHARACTER SET utf8;insert into students values(1,"小明");insert in...

2018-07-19 17:36:11 288

原创 hive创建分区导入数据

create table t_sz01(id int,name string) row format delimited fields terminated by ',';create table if not exists mytable(sid int,sname string) row format delimited fields terminated by ',' stored a...

2018-07-15 09:52:36 1531

原创 HIVE(hive-site.xml)配置

<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://192.168.76.100:3306/hive?createDatabaseIfNotExist=true</value><descri...

2018-07-14 00:03:49 13474

原创解决oracle数据库删除sql语句出现^H字样

1：安装readline包yum install readline*2：安装源码包：rlwrap-0.30.tar.gz ./configure && make && make install3：修改oracle用户的环境变量:alias sqlplus='rlwrap sqlplus'alias rman='rlwrap rman'

2017-09-22 21:05:02 540

原创 ORACLE环境变量设置

用oracle帐号登录，配置相关环境变量：vi .bash_profileexport ORACLE_BASE=/u01/app/oracleexport ORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_1export ORACLE_SID=insightexport NLS_LANG="SIMPLIFIED CHIN

2017-09-22 20:57:53 896

wql_zero的博客