- 博客(12)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Java定时任务调度
定时任务调度：基于给定的时间点，给定的时间间隔或者给定的执行次数自动执行任务TImer：JDK内置，只有一个线程执行 有且只有一个后台线程对多个业务线程进行定时定频率的调度主要构件：Quartz：第三方jar包，有线程池，定时任务更详细...
2018-06-08 20:03:48
245
原创 使用jstack生成线程快照
jstack：作用：生成JVM当前时刻线程的快照（threaddump，既当前进程所有线程的信息）目的：帮助定位程序问题出现的原因，如长时间停顿，CPU占用率过高
2018-06-07 20:47:08
1284
1
原创 守护线程
用户线程：运行在前台，执行具体的任务。程序的主线程，连接网络的子线程等都是用户线程守护线程：运行在后台，为其他前台线程服务特点：一旦所有的用户线程都运行结束，守护线程随JVM一起结束工作应用：数据库连接池中的监测线程 JVM虚拟机启动后的监测线程最常见的守护线程：垃圾回收线程注意事项：设置守护线程必须在start（）方法之前调用，否则会抛出异常 在守护...
2018-06-07 19:40:18
712
原创 线程生命周期
创建：Thread th=new Thread()就绪：创建了线程对象，调用了线程的start（）方法（注意：此时线程只是进入了线程队列，等待获取CPU服务，具备了运行的条件，但并不一定已经开始运行）运行：处于就绪状态的线程，一旦获取了CPU资源吗，便进入到运行状态，开始执行run方法的逻辑终止：线程的run（）方法执行完毕阻塞：一个正在执行的线程在某些情况下，由于某种原因而暂时让出了CPU资源，...
2018-06-07 19:30:30
153
原创 Java线程创建方式的比较
Runnable方式可以避免Thread方式由于Java单继承特性带来的缺陷Runnable的代码可以被多个线程（Thread实例）共享，适用于多个线程处理处理同一资源的情况。
2018-06-07 19:20:03
180
原创 Java多线程之内存可见性
可见性：一个线程对共享变量变量的修改，能够及时地被其他线程看到。Java内存模型：描述了Java程序中各种变量（线程共享变量）的访问规则，以及在JVM中将变量存储到内存和从内存中读取变量这样的底层细节。所有的变量都存储在主内存每个线程都有自己独立的工作内存，里面保存该线程使用到的变量的副本线程对共享变量的操作都必须在自己工作内存中进行不能直接从主内存中读写线程变量值的传递需要通过主内存传递可见性实...
2018-06-06 21:20:22
158
原创 Scala语言
函数式编程：纯函数（Pure Function）：没有副作用。副作用是状态的变化（修改全局变量，跑出异常，I/O异常，调用有副作用函数）引用透明：对于相同的输入，总得到相同的输出。 如果f(x)的参数x和函数体都是引用透明的，那么函数f是纯函数不变性：为了获得引用透明性，任何值都不能变化函数是一等公民：一切都是计算，函数式编程中只有表达式，变量，函数都是表达式高阶函数...
2018-06-01 22:51:31
402
原创 Spark调优
1.控制文件输出的大小：coalesce2.分区字段的数据类型调整：spark.sql.sources.partitionColumnTypeInference.enabled
2018-06-01 22:51:02
443
原创 用户行为日志分析概述
用户行为日志分析：Nginx，Ajax日志数据内容： 1，访问的系统属性：操作系统，浏览器等等 2.点击的url，从哪个url跳转过来，页面停留时间 3.访问信息：session_id,访问ip等日志分析的意义： 1.网站的眼睛 2.网站的神经 3.网站的大脑离线数据处理： 1.数据采集 Flume：将web日志写到HDFS 2.数据清洗： 脏数据：Spark，Hive...
2018-06-01 22:50:28
7309
原创 Spark处理外部数据源
产生背景：1.数据以各种格式存储在系统中2加载和保存数据不容易（Hive和mysql之间）3.数据存在各种类型，不好解析4.转换数据格式5.格式转换6.用户希望方便快速从不同数据源（json，parquet，rdbms），经过混合处理（json join parquet），再将处理结果以特定格式输出。出现时间：Spark Sql1.2出现了外部数据源API...
2018-06-01 22:49:32
422
原创 SparkSql概述
需要Sql的原因： 1.事实上的标准 2.易学易用 3.受众面大Hive on Sparkshark推出：欢迎，基于spark，基于内存的列式存储，与hive能够兼容缺点：hive ql解析，逻辑执行计划生成，执行计划的优化是依赖于hive的 仅仅是把物理执行计划从mr作业替换为spark作业 hive没有注意线程安全Shark终止以后，产生了两个分词...
2018-06-01 22:48:54
231
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人