![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习随笔
文章平均质量分 85
灥灥
这个作者很懒,什么都没留下…
展开
-
深入理解Java虚拟机随笔之运行时数据区
Java虚拟机运行时数据区分为程序计数器、虚拟机栈、本地方法栈、堆和方法区(前三个线程私有,后两个线程共享 )。 1.程序计数器 程序计数器是一块较小的内存空间。可看做当前程序所执行的字节码的行号指示器。在虚拟机的概念模型(注意只是概念模型,因为虚拟机可能通过一些更高效的方式去实现)中,字节码解释器通过程序计数器来选取下一条需要执行的字原创 2017-10-29 14:33:51 · 191 阅读 · 0 评论 -
HotSpot虚拟机在堆中对对象分配、布局和访问的全过程
虚拟机遇到一条new指令时,首先检查这个指令能否在常量池中定位到一个类 的符号引用,并检查这个符号引用代表类是否已被加载解析和初始化过。如果没有则必须先执行相应的类加载过程。类加载通过后虚拟机将为这新对象分配内存。对象所需内存大小在类加载完成后已完全确定。内存分配有“指针碰撞”和“空间列表”两种方法。若Java堆中内存是绝对规整的(用过的内存在一边,没用过的内存在另一边,中间用指针作为分界点的指示原创 2017-10-29 16:37:22 · 426 阅读 · 0 评论 -
深入了解Java虚拟机之垃圾收集器和内存分配策略
垃圾收集器在回收前要先判断哪些对象已“死去”。而判断是否死去有引用计数法和可达性分析法。 1.引用计数法 给对象添加一个引用计数器,每引用一次计数器加一,引用失效一个就减一。当计数器为零时表明对象不能再被使用。优点:实现简单,判定效率高。缺点:很难解决循环引用的问题。循环引用如下: cla原创 2017-10-30 15:55:21 · 133 阅读 · 0 评论 -
Hadoop单机伪分布式搭建
1:首先去下载Hadoop安装包2:安装hadoop tar -zxvf hadoop-2.7.5.tar.gz -C /opt3:配置/etc/hosts vim /etc/hosts注:要保证IP在同一个网段4:配置hadoop cd /opt/hadoop-2.7.5/etc/hadoop vim ha...原创 2018-08-03 10:00:11 · 149 阅读 · 0 评论 -
Hadoop学习之HDFS
Hadoop框架的两大核心部件是HDFS和MapReduce。HDFS是 Hadoop Distributed File System的缩写,是Java实现的、分布式的、可横向扩展的文件系统。存储的物理资源不一定在本地存放,可以通过网络与其他节点相连。HDFS的块大小默认为64字节。如果数据没有达到块大小则不占用实际磁盘空间。HDFS分为namenode和datanode两种节点。nam...原创 2018-08-03 13:08:46 · 96 阅读 · 0 评论 -
spark统计共同好友
数据格式 <user1>,<frend1>,<frend2>.....<frendn>eg: aa,bb,cc,dd,ee bb,aa,dd,ee cc,aa dd,aa,bb ee,aa,bb通过flatmaptopair将数据变成以<user1frenfi,frend1 fre...原创 2018-09-29 15:15:21 · 366 阅读 · 0 评论 -
spark 机器学习包实现KMeans
KMeans将数据分为K类。第一次随机选择k个点做质心。求每个数据与每个质心(迪卡尔积)的欧式距离,并选择最短距离。如此将数据分为k类。每类数据取平均值将结果作为质心重新计算欧式距离。直到质心基本不变(误差平方和最小)为止。public class KMean { public static void main(String[] args) { if(args.leng...原创 2018-09-29 15:28:46 · 261 阅读 · 0 评论