wl961949543-CSDN博客

原创多线程-volatile

1. 线程可见性package com.wl.volatilestudy;import java.util.concurrent.TimeUnit;/** * 多线程数据可见性 */public class Demo1 { class MyData { //加volatile关键字以后，在线程内修改会同步数据到主内存，主内存会通知其他线程数据已被修...

2019-04-12 12:14:33 93

转载一致性哈希

一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到应用。一致性hash算法提出了在动态变化的Cache环境中，判定哈希算法好坏的四个定义：1

2017-11-08 16:51:26 198

转载 Hashcode的作用

java中hashCode()方法的作用 hashcode方法返回该对象的哈希码值。 hashCode()方法可以用来来提高Map里面的搜索效率的,Map会根据不同的hashCode()来放在不同的位置,Map在搜索一个对象的时候先通过hashCode()找到相应的位置，然后再根据equals()方法判断这个位置上的对象与当前要插入的对象是不是同一个。

2017-11-07 15:57:42 201

转载 ip的划分

ip的划分,超详细IP和子网掩码我们都知道，ＩＰ是由四段数字组成，在此，我们先来了解一下3类常用的ＩＰ　　A类IP段　 0.0.0.0 到127.255.255.255 　　B类IP段　 128.0.0.0 到191.255.255.255 　　C类IP段　 192.0.0.0 到223.255.255.255 　　ＸＰ默认分配的子网掩码每段只有255或0 　　Ａ类的默

2017-11-07 13:33:41 230

原创第四课方法

scala和java方法的区别指定方法的访问控制（可见性）给方法参数指定缺省值方法调用时指定参数名传参如何声明方法可能抛出的异常可变参数的使用

2017-11-02 16:59:44 134

原创第三课类和属性

scala 的主构造函数包括：构造函数参数类内部被调的方法在类内部执行的表达式和语句class Person(var firstName: String, var lastName: String) { //构造函数一部分 println("the constructor begin") private val HOME = System.getProp

2017-11-02 16:13:55 174

原创第二课控制结构

一条case语句匹配多个条件val i = 5i match { case 1| 3 | 5| 7|9 => println("odd") case _ => println("even")}val cmd = "stop"cmd match { case "start"|"go" => println("start....") case "stop"|"qu

2017-11-01 15:55:59 122

原创第一课字符串

1.1 比较两个字符串是否相等val s1 = "Hello"val s2 = "Hello"val s3 = "H" + "ello"println(s1 == s2)println(s1 == s3)1.2 字符串中变量代换val name = "Fred"val age = 33val weight = 200.00println(s"$n

2017-11-01 14:10:37 144

原创 spark读取hdfs的文件存入hbase慢

解决了数据本地性问题，Locality Level 显示为NODE_LOCAL，但是通过spark读取hdfs的文件存入hbase还是很慢，不知道为什么

2017-10-24 17:02:17 1172

原创 operation category read is not supported in state standby

hadoop 集群做了ha，今天重启了集群，原来master1机器是active，master2是standby，重启以后master1变成standby，master2变成active。而程序里读取hdfs的路径写的还是master1所以报了operation category read is not supported in state standby错。将程序路径改成master2，就好了

2017-10-24 15:37:17 12922 4

转载 spark读取hdfs数据本地性异常

在分布式计算中，为了提高计算速度，数据本地性是其中重要的一环。不过有时候它同样也会带来一些问题。一.问题描述在分布式计算中，大多数情况下要做到移动计算而非移动数据，所以数据本地性尤其重要，因此我们往往也是将hdfs和spark部署在相同的节点上，有些人可能会发现即使他已经这么做了，在spark的任务中的locality还是ANY，这说明所有的数据都是走的网络IO。

2017-10-24 15:34:06 427

转载手动释放linux内存cache和脚本定时释放

总有很多朋友对于Linux的内存管理有疑问，之前一篇Linux下的内存管理方式似乎也没能清除大家的疑虑。而在新版核心中，似乎对这个问题提供了新的解决方法，特转出来给大家参考一下。最后，还附上我对这方法的意见，欢迎各位一同讨论。当在Linux下频繁存取文件后，物理内存会很快被用光，当程序结束后，内存不会被正常释放，而是一直作为caching。这个问题，貌似有不少人在问，不过都没有看到有什么很

2017-09-19 18:44:01 433

原创 linux部署java工程

1.eclips打jar包修改MANIFEST.MF文件主要jar包之间空格，最后一个空行，所依赖的jar包都加上把jar包粘到Linux的工程文件同级目录里编写sh将sh粘到同一个目录登陆Linux执行sh文件

2015-07-07 15:50:11 297 1

原创 ehcache实践

xsi:noNamespaceSchemaLocation="ehcache.xsd"> class="net.sf.ehcache.distribution.RMICacheManagerPeerProviderFactory" properties="peerDiscovery=auto

2015-07-06 15:26:15 289

转载二维数组和指针

二维数组和指针⑴ 用指针表示二维数组元素。要用指针处理二维数组，首先要解决从存储的角度对二维数组的认识问题。我们知道，一个二维数组在计算机中存储时，是按照先行后列的顺序依次存储的，当把每一行看作一个整体，即视为一个大的数组元素时，这个存储的二维数组也就变成了一个一维数组了。而每个大数组元素对应二维数组的一行，我们就称之为行数组元素，显然每个行数组元素都是一个一维数组下面我们讨论指针

2015-01-13 13:10:27 334

wl961949543的专栏