- 博客(123)
- 收藏
- 关注
RSS订阅原创 spring FactoryBean使用
spring配置: <bean id="myFactoryBean" class="com.ws.model.MyFactoryBean"></bean>代码: /** * 指定生产 User 对象 */ public class MyFactoryBean implements FactoryBean<User> { ...
2019-04-30 11:59:19
276
原创 spring SmartInitializingSingleton接口
SmartInitializingSingleton 接口//仅适用于单例对象public interface SmartInitializingSingleton { void afterSingletonsInstantiated();}作用该接口在bean实例化完成,包括依赖注入完成,BeadPostProcess,InitializingBean,initMethod...
2019-04-22 11:17:51
2004
原创 spring InitializingBean接口
spring初始化bena的方式之一 , 其二为 指定init-method方法;优缺点 优点 : 实现接口,效率高 , 底层直接强转调用类的方法(AbstractAutowireCapableBeanFactory.invokeInitMethods中执行) 缺点 : 未解耦解读 1.所有实现InitializingBean接口的bean,重写afterPropertiesS...
2019-04-11 12:15:08
279
原创 spring Properties配置文件的读取
1.PropertiesFactoryBean的使用1.1 spring配置加入如下:<bean id="pf" class="org.springframework.beans.factory.config.PropertiesFactoryBean"> <!--设置properties的路径--> <property name="locations"&...
2019-04-11 10:34:56
191
转载 spring execution 表达式
转载表达式支持匹配多个如 : "execution(* com.ws..*.*(*)) || execution(* com.db..*.*(*))" ;
2019-04-10 17:54:58
1012
原创 spring之BeanPostProcessor
BeanPostProcessor : bean后处理器执行的时机 : bena实例化后(属性已经注入了),在bean的init方法(bean配置了init-method)之前调用postProcessBeforeInitialization , init方法调用后在调用postProcessBeforeInitialization注意::如果注册多个BeanPostProcess...
2019-04-07 20:34:17
178
原创 进制
0x : 开头表示16进制0 : 开头表示八进制0x22 : 转换成10进制为 -> 2 * 16 ^ 1 + 2 * 16^ 0 = 32 + 1 = 33 ;0x2F : ,A-F对应 10 -15 , 10进制为 -> 2 * 16^1 + 15 = 47 ; public static void main(String[] args) { // 0x : 表示进制...
2019-04-07 14:38:01
2339
原创 scala各种符号的定义
spark源码中的withScopescala中的Seq 和 Set 的区别“&lt;:” 和 “&gt;:” 符号"&lt;%"符号
2019-03-06 10:14:17
326
转载 spark submit参数
linux执行jar包命令java -jar XXXX.jarsubmit参考./bin/spark-submit–class com.ws.spark.Test.WordCount–master spark://192.168.0.21:7077–executor-memory 4G–total-executor-cores 6/root/WordCount.jar...
2019-03-02 16:25:26
512
转载 flume命令
启动flume命令bin/flume-ng agent --conf conf --name a1 --conf-file 配置文件目录详情参考
2019-03-02 16:02:07
585
原创 flume输出到kafka配置
[root@server-21 apache-flume-1.6.0-bin]# cat kafka_test.properties # 01-flume-netcat-test# agent name: a1# source: netcat# channel: memory# sink: logger, local console# 01 define source,channe...
2019-03-02 15:56:48
926
原创 flume配置模板
[root@server-21 apache-flume-1.6.0-bin]# cat test.properties # 01-flume-netcat-test# agent name: a1# source: netcat# channel: memory# sink: logger, local console# 01 define source,channel,sink...
2019-03-02 15:55:52
245
原创 spark:updateStateByKey
package com.ws.sparkimport org.apache.spark.sql.SparkSessionimport org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}import org.apache.spark.streaming.{Seconds, StreamingContext}...
2019-02-28 10:14:31
1173
原创 spark自定义hive的UDF/UDAF函数
自定义UDF函数package com.ws.sparkimport org.apache.spark.sql.DataFrameimport org.apache.spark.sql.hive.HiveContextimport org.apache.spark.{SparkConf, SparkContext}object MyUDF{ def main(args: Arr...
2019-02-27 15:48:54
1336
原创 if的使用
语法 : if(expr1,expr2,expr3)expr1: if的条件,如: id&gt;3expr2: 符号条件时返回的值expr3: 不符号条件时返回的值示例:select if(rank &gt; 0 , 222 , rank) as result , rank from user_arena_redis ;...
2019-02-27 15:08:12
246
原创 case when的使用
示例一SELECTrank ,CASE WHEN rank = 1 THEN ‘第一名’ WHEN rank =2 THEN ‘第二名’ WHEN rank =3 THEN ‘第三名’ ELSE ‘暂无排名’ END AS result ,uidFROM user_arena_redis ;结果如下:示例二SELECTSUM(CASE WHEN rank &amp;amp;...
2019-02-27 14:43:45
478
转载 Hive Schema version 1.2.0 does not match metastore’s schema version 2.1.0
转载链接
2019-02-27 12:47:21
426
原创 idea编写spark连接hive
idea下编码,测试连接hive,代码如下:package com.ws.sparkimport org.apache.spark.sql.DataFrameimport org.apache.spark.sql.hive.HiveContextimport org.apache.spark.{SparkConf, SparkContext}object RangeTest {...
2019-02-27 11:51:01
1511
原创 Spark Master web端口被占用
主节点修改[root@server-21 sbin]# vi start-master.sh将8080修改为其他端口,重启start-all.sh
2019-02-27 11:24:19
557
原创 线程死锁示例
package com.ws.thread;import com.google.common.util.concurrent.ThreadFactoryBuilder;import java.util.concurrent.LinkedBlockingDeque;import java.util.concurrent.ThreadFactory;import java.util.con...
2019-02-26 18:21:56
288
原创 hive命令大全
创建表hive&gt; CREATE TABLE t_hive (age int, num int, size int) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘,’;导入本地数据到hivehive&gt;LOAD DATA LOCAL INPATH ‘/root/test’ OVERWRITE INTO TABLE t_hive ...
2019-02-26 15:22:41
176
原创 idea保存结果至HDFS报错:Permission denied
解决方法修改hfds-site.xml文件 dfs.permissions false
2019-02-26 14:17:35
757
原创 datanode报错Problem connecting to server
datanode启动成功,但是后台查看发现未连接namenode,查看日志提示如下:2019-02-26 13:53:16,307 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: server-21/192.168.0.21:90002019-02-26 13:53:2...
2019-02-26 13:57:34
6682
转载 java运算符与&、非~、或|、异或^ ,补码,源码,反码
位与运算符(&amp;amp;amp;amp;amp;amp;)运算规则：两个数都转为二进制，然后从高位开始比较,高位不足补0，如果两个数都为1则为1，否则为0。例子: 6的二进制为110,1的十进制为1 , 6 &amp;amp;amp;amp;amp;amp; 1 = 0 110 001 ------- 000 =&amp;amp;amp;amp;amp;gt; 转换成10进制得0; 10的二
2019-02-23 20:20:36
349
原创 spark: sample 数据采样
package com.ws.sparkimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}import scala.collection.mutable/** * sample 采样 */object SampleTest { def main(args: A...
2019-02-23 12:03:33
5435
原创 linux搜索文本包含某个关键字段落
搜索文本包含某个关键字段落: 方式一:grep -rnR "xxxx" 文件 grep -rnR "sendsend arena rank reward end" 文件 方式二:awk '{if($0~"关键字") print}' rank.json如果是压缩格式.gz,则使用如下: zcat xxxx.gz | grep '关键词'| wc -l [zcat遍历目录脚本]
2019-02-22 15:14:07
2029
原创 .gz压缩文件中查找关键词
#!/bin/bashpath=$1files=$(ls $path)for filename in $filesdo name=./$filename zcat $name | grep '关键词'| wc -l echo $name $? &gt;&gt; error.text done
2019-02-22 10:20:29
2631
转载 spark:使用Kryo优化序列化性能
在Spark中，主要有三个地方涉及到了序列化：在算子函数中使用到外部变量时，该变量会被序列化后进行网络传输。将自定义的类型作为RDD的泛型类型时（比如JavaRDD，Student是自定义类型），所有自定义类型对象，都会进行序列化。因此这种情况下，也要求自定义的类必须实现Serializable接口。使用可序列化的持久化策略时（比如MEMORY_ONLY_SER），Spark会将RDD中的...
2019-02-21 16:59:58
345
原创 redis读取数据,写入mysql
package com.ws.sparkimport java.io.{File, PrintWriter}import java.util.Propertiesimport org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}import redis.clients.jedis.Jedisobject Redi...
2019-02-21 13:46:55
3276
原创 Redis DestTop Manager连接不上redis
原因:一直以来,redis使用Redis DestTop Manager连接都是没问题了,自从使用dump.rdb数据恢复,导致Redis DestTop Manager连接不上redis,采取以下措施得以连接,[root@localhost ~]# redis-cli127.0.0.1:6379&amp;gt; config set protected-mode &quot;no&quot;...
2019-02-21 11:12:10
535
转载 mysql中update和select结合使用
在遇到需要update设置的参数来自从其他表select出的结果时,需要把update和select结合使用,不同数据库支持的形式不一样,在mysql中如下: update A inner join(select id,name from B) c on A.id = c.id set A.name = c.name; 根据AB两个表的id相同为条件,把A表的name修改为B的sql语句...
2019-02-20 14:27:15
883
原创 linux wc命令
说明：该命令统计给定文件中的字节数、字数、行数。如果没有给出文件名，则从标准输入读取。 wc同时也给出所有指定文件的总统计数。字是由空格字符区分开的最大字符串。 格式 : wc [可选] file ● 统计行数: wc -l file or cat file | wc -l： [root@localhost ~]# wc -l test 11 test [root@localh...
2019-02-20 10:11:14
126
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人