蓝天688-CSDN博客

原创 git同步github

#clone github 远程仓库git clone https://github.com.cnpmjs.org/github_username/hudi.gitgit remote -v#origin https://github.com.cnpmjs.org/github_username/hudi.git (fetch)#origin https://github.com.cnpmjs.org/github_username/hudi.git (push)#upstream...

2021-09-27 11:18:41 143

原创 spark_windows_sasl_gss_initiate_failed

本地Windows 环境连接cdh 6.3.2 hive2.1.1，集群hadoop 版本3.0.0-cdh6.3.2本地windows hadoop 版本2.7.7出现如上错误。尝试解决办法：之前cdh hadoop版本为2.7的时候，windows远程连接是正常的。排查日志(主要是cloudera manager namenode日志)发现，是因为hadoop 版本升级导致的，之前hadoop版本是2.7，中间有人升级到了hadoop3.0.namenode中的提示日志如下：.

2021-04-08 21:54:58 370

原创 Java GC

垃圾收集算法：引用计数、根搜索、标记清除、复制、标记整理、分代收集、https://www.cnblogs.com/parryyang/p/5748711.html垃圾收集器：单线程收集器serial、多线程收集器parallel、标记清除CMS(current mark sweep)、G1https://blog.csdn.net/u013812939/article/details/48782...

2018-05-03 18:08:01 235

原创 Mac IDEA快捷键

psvm public static void main()sout system.out.printlncommand+n 生成代码: 可以直接生成Getter Setter，构造方法等tab+O 重写方法tab+I 实现方法tab+空格基本代码补全功能，包括类名、方法名、或者变量名Command + alt + m 选中一段代码，自动生成一个方法Command + 7 查看一个类...

2018-05-01 23:11:29 221

原创 Java红黑树

https://www.cnblogs.com/CarpenterLee/p/5503882.html红黑树的特点：1. 一个节点只能是黑色或者红色2. 根节点必须是黑色3. 不能有两个红色节点相互连接4. 任何一个节点，它到所有叶子节点对应的所有路径必须包含相同数目的黑色节点当有节点添加或删除的时候，为了保证红黑树的这四个特征不变，必须对树进行调整：1

2018-04-28 18:23:21 206

转载 sql 中exist用法

转载来自：http://www.cnblogs.com/cjm123/p/8177017.html非常感谢原作者sql中exists,not exists的用法exists : 强调的是是否返回结果集，不要求知道返回什么, 比如： select name from student where sex = 'm' and mark exists(select 1 from

2018-03-09 12:53:50 9177

原创 servlet 中spring 的使用

servlet 中spring 的使用：servlet 中使用spring jdbTemplatehttp://blog.csdn.net/leoleohan/article/details/44265123在工作中使用到spring的mvc框架，分为controller/service/dao三个层次。偶尔会用到servlet替换掉controller，这就遇到如何在servlet中使用注入到s...

2018-03-05 13:48:34 574

原创 SpringBootApplication无法启动：Unregistering JMX-exposed beans on shutdown

IDEA new create Spring Boot Project,run main class: SpringbootJdbcApplication Application应用直接退出2018-02-05 10:25:19.795 INFO 93703 --- [ main] o.s.j.e.a.AnnotationMBeanExporter

2018-02-05 11:28:30 6938 1

原创 cassandra cql查询查看执行过程

2018-02-02 10:16:20 2108

原创 case Class 和tuple互相转换

case class Convert to tuple :case class User(name:String, age:Int)(1) class to tupleval user = User("John", 28)User.unapply(user).get(2) tuple to classval tuple1 =

2018-02-01 14:56:26 303

原创 Spring Boot访问Cassandra

Spring Boot 访问Cassandra，大致参考了以下articles, 还是乱七八糟的的，https://github.com/spring-projects/spring-boot/blob/master/spring-boot-samples/spring-boot-sample-data-cassandra/src/main/java/sample/data/cassandra/C...

2018-02-01 14:45:41 1944

原创 Sping boot 读取自定义配置文件(属性)

若自定义属性在application.propreties文件中，可以直接在对应字段引入 @Value("${myProp.prop1}") private String myProp;若自定义属性在另一文件 mypro.properties 中，需要在对应class上加上@PropertySource("classpath:mypro.properti

2018-02-01 14:22:02 229

原创 kettle学习资料

https://yq.aliyun.com/search?type=ARTICLE&q=kettlehttp://blog.csdn.net/victor_ww/article/details/21975597http://www.cnblogs.com/limengqiang/archive/2013/01/17/KettleApply3.html

2018-01-09 15:44:54 1656 1

转载 how to make run command include the provided dependencies when using sbt

The easiest way to add provided dependencies to debug a task with IntelliJ is to:Right-click src/main/scalaSelect Mark Directory as... > Test Sources RootThis tells IntelliJ to t

2018-01-09 15:44:18 162

原创 String StringBuffer StringBuilder

String 不可变StringBuffer StringBuilder 可变对象， StringBuffer线程安全，可用于多线程 StringBuilder线程不安全，适用于单线程；在单线程环境下，StringBuilder 比StringBuffer性能更好一些from: http://blog.csdn.net/mad1989/article/deta

2018-01-09 15:37:56 131

原创常用command

查看OS版本cat /etc/redhat-release查看linux 内核versioncat /proc/version

2017-12-13 11:25:51 174

转载各种排序算法

http://blog.csdn.net/hguisu/article/details/7776068#t8选择排序冒泡排序快速排序插入排序堆排序归并排序

2017-12-08 10:27:54 173

转载 Mac 环境变量设置

文章转载处：http://www.cnblogs.com/shineqiujuan/p/4693404.html 感谢原作者：mac 一般使用bash作为默认shellMac系统的环境变量，加载顺序为：/etc/profile /etc/paths ~/.bash_profile ~/.bash_login ~/.profile ~/.bashrc当然/

2017-11-06 23:29:40 329

原创数据序列化avro\thrift\protocol buffer | kyro

Thrift 不仅仅是个高效的序列化工具，它是一个完整的 RPC (跨进程间服务调用)框架体系 (facebookhttp://dongxicheng.org/search-engine/thrift-framework-intro/http://www.cnblogs.com/cyfonly/p/6059374.htmlhttps://thrift.apache.org/

2017-11-04 10:25:45 587

原创 how to make run command include the provided dependencies when using sbt

The easiest way to add provided dependencies to debug a task with IntelliJ is to:Right-click src/main/scalaSelect Mark Directory as... > Test Sources RootThis tells IntelliJ to treat src/mai

2017-11-01 00:40:41 199

转载 Java多线程内存模型学习

转载出处： http://www.cnblogs.com/hewenwu/p/3662529.html good!特此感谢reference: http://rainyear.iteye.com/blog/1734311 good! http://www.cnblogs.com/huanmin/p/6156192.html

2017-10-20 18:43:07 204

原创 Iterable和iterator

(1) Iterable:大部分collection直接实现了改接口(trait) A base trait for iterable collections.This is a base trait for all Scala collections that define an iterator method to step through one-by-one

2017-10-19 13:59:51 291

原创 linux查看java进程|线程池信息

1.根据端口号57638查看对应进程pid/name=1463/java netstat -apn | grep 57638 tcp 0 0 ::ffff:172.20.5.10:57638 :::* LISTEN 1463/java tcp 0

2017-10-14 11:21:15 13043

转载 spark 读取alluxio: Caused by: java.io.IOException: Block 38416150429696 is not available in Alluxio

使用Alluxio，读取文件报错：30-09-2017 10:41:14 CST gpsWarning INFO - Driver stacktrace:30-09-2017 10:41:14 CST gpsWarning INFO - at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGSch

2017-09-30 11:02:40 396

原创 How_to_design_partition_key_in_cassandra

-. how to design partition key in cassandra?1. Cassandra Data Modeling – Primary , Clustering , Partition , Compound Keyshttps://blog.knoldus.com/2016/10/18/cassandra-data-modeling-primar

2017-09-29 15:03:55 273

原创 cassandra materialized view And index

CREATE TABLE mytest1.wordstest ( word text PRIMARY KEY, c1 int, count int)-. index1. 不指定partition，普通查询select * from mytest1.wordstest where count = 40 ALLOW FILTER

2017-09-29 11:45:12 522

原创 cassandra Internal data structure

Understanding How CQL3 Maps to Cassandra’s Internal Data Structure ?http://opensourceconnections.com/blog/2013/07/24/understanding-how-cql3-maps-to-cassandras-internal-data-structure/h

2017-09-29 10:40:12 208

原创 hdfs 小文件合并

(1)使用hive insert overwrite insert overwrite table test select * from test (2)使用hdfs 命令: 合并src目录下的多个小文件为本地磁盘的一个文件hdfs dfs -getmerge src: 是hdfs 目录localdst: 是本地磁盘文件example: hdfs

2017-09-27 23:40:36 2101

原创 hive 文件存储parquet格式, sparkSql解析部分字段为null

hive 版本2.1.0， hdfs 上同一份数据（1）用hive 建表，部分字段hive 读取有值， sparksql读取值为nullCREATE EXTERNAL TABLE business_log.rule_business_log2 ( id bigint, bu

2017-09-27 18:26:15 5978 2

原创 hive几种存储格式: Storage Format

(1) hive table 的几种 Storage Format：Hive supports built-in and custom-developed file formats. See CompressedStorage for details on compressed table storage.The following are some of the formats bu

2017-09-27 10:12:26 813

转载 linux vim查找替换撤销

查找·替换详解转载文章出处： http://www.cnblogs.com/longjshz/p/5775584.html感谢原作者（1） Linux下的vi编辑命令中查找·替换详解一、查找查找命令 /pattern ：向下查找pattern匹配字符串 ?pattern：向上查找pattern匹配字符串使用了查找

2017-09-27 09:59:58 925

原创 sbt assembly遇到的两个问题

1. deduplicate file appears in two different jar:If multiple files share the same relative path (e.g. a resource named application.conf in multiple dependency JARs), the default strategy is to

2017-09-27 09:40:32 1532

转载 scala 关键字seal

简单记一下1. http://www.cnblogs.com/rollenholt/p/4192758.html2. case class override toStringcase class Person(id: Int, id2: Int) { override def toString = this.productIterator.mkStr

2017-09-21 11:03:28 281

转载 scala/java 可变长度参数

1. 转载文章出处：http://www.cnblogs.com/rollenholt/p/4112833.htmlScala 允许你指明函数的最后一个参数可以是重复的。这可以允许客户向函数传入可变长度参数列表。想要标注一个重复参数，在参数的类型之后放一个星号。例如：scala> def echo(args: String*) =for (arg <- args) println(

2017-09-19 11:12:39 656

原创 What does [B >: A] do in Scala?

(1)down voteaccepted[B >: A] is a lower type bound. It means that B is constrained to be a supertype of A.B 是A的超类(2) Similarly [B is an upper type bound, mea

2017-09-18 23:36:09 323

原创 cassandra节点异常：java.lang.OutOfMemoryError: Direct buffer memory

宕机两次了：频繁发送多次请求到cassandra集群，整个集群down掉，查看日志发现：debug.log文件：ERROR [ReadStage-146] 2017-09-13 10:40:08,415 JVMStabilityInspector.java:141 - JVM state determined to be unstable. Exiting for

2017-09-13 15:12:50 1550

原创 sbt项目中多模块(多个子项目)配置

http://www.scala-sbt.org/0.13/docs/Multi-Project.html （官方文档永远是最好的，完整的看不懂多看几遍）http://www.scala-sbt.org/0.13/docs/zh-cn/Multi-Project.html 中文翻译http://wiki.jikexueyuan.com/project/sbt-ge

2017-09-12 19:53:18 2703

原创 cassandra nodetool repair

http://cassandra.apache.org/doc/latest/operating/repair.htmlhttp://cassandra-reaper.iohttp://docs.datastax.com/en/cassandra/3.0/cassandra/tools/toolsRepair.html先收藏，

2017-09-11 22:24:41 304

转载 linux free cache

# sync# echo 1 > /proc/sys/vm/drop_caches echo 2 > /proc/sys/vm/drop_caches echo 3 > /proc/sys/vm/drop_cachescache释放：To free page cache:echo 1 > /proc/sys/vm/drop_cachesTo free den

2017-09-11 22:23:07 170

原创 cassandra-stress tool

cassandra-stress tool如何进行压测： #Insert (write) one million rows bin/cassandra-stress write n=50000 -rate threads=5 -node db1,db2,db3自动创建 a keyspace: keyspace1, and tables: standard1 o

2017-09-11 22:19:51 1111 2

空空如也

空空如也