自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

干货

一角优雅的冰山

  • 博客(46)
  • 资源 (10)
  • 论坛 (3)
  • 问答 (1)

原创 spark sql 因为引用变量日期没有加引号,导致没有读取到数据

spark sql 因为引用变量日期没有加引号,导致没有读取到数据

2020-09-04 14:32:20 13

原创 大数据工作中变通技巧

1.将hive数据保存为一个csv文件,但是这个文件在线上服务器上,无法直接下,那么可以把这个文件传到Hadoop HDFS上,然后在HUE的文件管理界面下载。hive存为csv文件命令hive -e "set hive.cli.print.header=true; show partitions xxx.xxx ;" | sed 's/[\t]/,/g' > partitions.csv上传命令hadoop fs -put partitions.csv /user/xxx/xxx..

2020-08-08 18:56:44 35

原创 word2vec不能结束训练

分类目训练商品 word2vec。logger.info("Training...")logger.info(" history_index len :%s" % len(self.history_index))if len(self.history_index) > 10: # 有10条以上数据才计算logger.info(" start Word2Vec ... ")model = Word2Vec(self.history_index, size=representation_siz

2020-07-06 16:56:59 29

原创 mac安装xlearn遇到的cmake、gcc问题

直接用pip install xlearn 网络老是失败。然后就下载好xlearn-0.40a1.tar.gz 包,通过pip install ./xlearn-0.40a1.tar.gz安装。但是报错Failed building wheel for xlearn……Exception: Please install CMake first……但是看cmake已经安装了。(ba...

2020-05-03 17:13:26 159

原创 PYSPARK_PYTHON 环境问题

报错Exception: Python in worker has different version 2.7 than that in driver 3.7, PySpark cannot run with different minor versions.Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVE...

2020-04-17 14:31:22 104

原创 使用crontab时无法保存 errors in crontab file, can't install.

提示信息:[user ]$ crontab -ecrontab: installing new crontab"/tmp/crontab.S0Me6x":36: bad hourerrors in crontab file, can't install.Do you want to retry the same edit?Enter Y or N原因是cron表达式写错了。...

2020-04-02 15:57:38 111

原创 mac 实用软件 截图 文本 压缩 日历

1.文本软件Windows的notepad++特别好用,mac上没有。比较下来UltraEdit_18.00.0.40比较好用。且能打开 几个G 的文件。其他的比如:① sublime 不适合打开超大文件。② Atom 打开大文件会有“可能会卡死”的提示,且打开稍慢。③ Brackets 超过16M不能打开。https://bbs.feng.com/read-htm-tid-1082...

2019-05-11 21:55:36 429

原创 mac 开发使用技巧和软件

1.修改配置文件①先快速跳转到目录②再用UltraEdit打开文件,进行修改

2019-05-11 21:46:11 191

原创 mac搭建大数据环境遇到的问题

使用brew安装hadoop,使用无法正常市用。最终是使用下载解压包的方式。问题1 Invalid HADOOP_COMMON_HOMExin:out root# hadoop jar /usr/local/Cellar/hadoop/3.1.2/libexec/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-3.1.2-so...

2019-05-11 21:38:31 460

原创 SSH 免密登录

目录结构免密登录相关文件放在~/.ssh目录下,主要有4个文件。[root@linux1 .ssh]# pwd/root/.ssh[root@linux1 .ssh]# lltotal 16-rw-r--r--. 1 root root 393 May 21 04:48 authorized_keys-rw-r--r--. 1 root root 0 May 21 05...

2019-05-11 18:45:19 395

原创 mac 无法使用 ssh root@本机

解决方法以root身份,chmod +w /etc/ssh/sshd_configvi /etc/ssh/sshd_configPermitRootLogin 的默认是 prohibit-password ,改成 yes 。如果只是去掉前面的 # 号,那么只有root用户可以ssh,普通用户不能ssh root@本机。...

2019-05-11 16:53:32 1409

原创 spark 日志级别设置为ERROR

想只显示ERROR日志。方式1代码里设置 val sc = new SparkContext(conf) sc.setLogLevel("ERROR")这个启动时,仍然会有月一些其他日志.方式2log4j.properties文件设置1.新建一个resource目录,在文件夹上右击,mark as reources root。2.新建一个log4j.properties...

2019-04-19 14:54:26 5075 2

原创 Linux安装软件 MySql Nginx

1.安装MySql卸载自带的检查linux是否带有mysql的安装包rpm -qa | grep mysql卸载centos6.5自带的mysql的包例如:rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64方式一:yum安装①安装yum install -y mysql mysql-server my...

2019-04-18 21:02:30 115

原创 解决mac使用 lightgbm 时 image not found

brew install cmakebrew install gccgit clone --recursive https://github.com/Microsoft/LightGBM ; cd LightGBM看自己电脑上,gcc是几。我的mac是8。 /usr/local/opt/gcc/lib/gcc/8cd /usr/local/opt/gcc/lib/gcc/xin:~...

2019-03-25 15:18:59 1612

原创 scala spark 的sc.makeRDD速度慢

原来的写法sc.makeRDD(HashMap.toSeq).sortBy(_._2).take(firstN)有两处这样的写法,5万条数据,计算了84分钟。11:52:56 13:16:10后来的写法ListMap.toList.sortBy(_._2).take(firstN)有两处这样的写法,172万条,不到两分钟计算完成。其他参数 .set("spark.d...

2019-03-14 13:56:11 595

原创 mac搭建本地大数据开发环境

用root用户修改配置文件,没有root用户,先创建一个。例如:vi /etc/profile 保存退出: :wq!1.java一般安装位置/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home2.安装hadoop参考:https://blog.csdn.net/fox64194167/article...

2019-02-26 16:24:54 2893

原创 安装spark报错java路径不对

/Volumes/ds/service/spark-2.4.0-bin-hadoop2.7/bin/spark-class: line 71: /Library/Java/JavaVirtualMachines/jdk1.8.0_201/Contents/Home/bin/java: No such file or directory正确的路径在/Library/Java/JavaVirt...

2019-02-26 16:07:43 1724

原创 mac windows 安装两个python环境

同时拥有python3和python2环境。anaconda下载地址https://www.anaconda.com/distribution/#download-section用anaconda图像界面操作# 安装好后,使用activate激活某个环境activate python34 # for Windowssource activate python34 # for Linu...

2019-02-15 15:13:25 590

原创 opencv Error: Assertion failed (size.width>0 && size.height>0) in cv::imshow,

opencv 报错Error: Assertion failed (size.width>0 && size.height>0) in cv::imshow,原因:路径不能有中文。更多:https://blog.csdn.net/sinat_39150454/article/details/74315806https://stackoverflow.co...

2019-01-21 13:59:19 1781 1

原创 Ubuntu网卡设置连接网络

网络设置参考:https://blog.csdn.net/hurricane_0x01/article/details/51941941语言设置参考:https://blog.csdn.net/langshi_2011/article/details/78993781版本:ubuntu-18.04.1-desktop-amd64.iso1.设置固定IPvi /etc/network/int...

2019-01-10 16:42:58 967

原创 Maven排除冲突依赖jar包

SequenceFile应该引入的是hadoop包下的,但是引入了flink包下的,因为flink里这个包版本较低,没有这个方法。所以报错。需要排除这个冲突的依赖。1.找出冲突包位置找到冲突包所在的父包。打开idea的 Terminal输入命令:mvn dependency:tree >> a.txt打开生成和文件根据文件显示,这个包在flink-java包下2....

2019-01-07 18:06:06 8207

原创 hbase集群不能启动

hbase集群不能启动,要么只起来某几台,要么是HMaster起来了,RegionServer没起来。原因:时间不同步。进行时间同步。如果能联网,就用 ntpdate -u cn.pool.ntp.org不能联网,就手动指定date 010319492019.30(月日时分年.秒)...

2019-01-03 19:58:51 399

原创 设置Jupyter Notebook工作目录,4种方法都不行,所以改源码

直接看第5段。下面是思考过程,最终方法在第5段。更改Jupyter Notebook起始目录,网上说了4中方法,但是有时候行,有时候不行。有的电脑行,有的电脑不行。https://blog.csdn.net/qq_33039859/article/details/54604533然后想到修改源码的方法。1.找程序目录根据启动jupyter时的控制台信息,知道jupyter程序文件在An...

2018-12-01 17:22:05 3283

原创 hive分隔符\001和\011与\x03 用pandas切割时出现的问题

hive导出数据,想找一个分隔符。hive默认分隔符是“\001”。想换个其他的。在ASCII码对照表中找了下,决定用“\0011”。然后Hive能正常数据,到notepad++里面显示的字符和ASCII码对照表里的是一样的。但是在用“\011”切割时,切割不出,且字段首位不能有空格。后来用“EmEditor”打开这个文件,使用查找替换功能时,发现这个字符被显示为“\x03”。所以在...

2018-11-28 14:00:51 7567

原创 宗成庆《统计自然语言处理》 目录的思维导图

2018-11-22 14:16:07 1962 1

原创 'gbk' codec can't decode byte 0xbf in position 2: illegal multibyte sequence

python 读取文件报错UnicodeDecodeError Traceback (most recent call last)<ipython-input-6-0e9485397930> in <module>() 6 path = "data.txt" 7 with open(path,'r')...

2018-11-21 17:56:54 2265

原创 python pandas 路径中有中文 OSError: Initializing from file failed

data = pd.read_csv('D:/code/data/original-data/item-sort/3 - 副本.txt', header=None)OSError: Initializing from file failed

2018-11-08 19:24:47 192

原创 spark-submit几种情况

1.打包打包后,生成两个文件,一个是只包含代码的,一个是包含所有jar包的。2.提交2.1.提交scala文件spark-submit --executor-memory 5g --driver-memory 3g --master spark://node11:7077 < als.scala2.2.提交py文件spark-submit --driver-memory 2...

2018-11-07 17:56:22 2726

原创 数据科学DataScience环境

anaconda36https://www.anaconda.com/download/配置目录在C:\Users\用户.jupyter 目录下新建一个 jupyter_notebook_config.py 文件写一行内容,注意:斜杠一定要是“ / ” 。c.NotebookApp.notebook_dir='D:/code/jupyter'数据科学包pip install pys...

2018-11-07 16:41:55 596

原创 nginx搭文件服务器

1.改为root用户原来的nginx.conf里,第一行是user ngix; # 不同版本的不一样改为user root;2.加一个server在原来的nginx.conf里加一个server配置。配置写在http { } 里面,与其他server 同级别。 autoindex on;# 显示目录 autoindex_exact_size on;# 显示文件大小 auto...

2018-11-07 10:59:39 32772

原创 运行 Spark ALS 程序 内存溢出

执行这个20几条记录,机器就会内存溢出,在本地、单机服务器都是这样。换个电脑也是这样。后来也改了代码,还会这样。不过才这么几条数据,就内存溢出,讲不通啊。后来找到一个临时解决方法,就是删除这个application,重新运行。删除后的第一次运行基本都能运行成功。第二次运行就会失败。那么然后就在VM option 里面添加参数:-Xmx10G 。就又能运行几次。...

2018-10-31 15:14:04 867

原创 UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc9 in position 0: invalid continuation byte

pandas读取一个文件出错。data = pd.read_csv('D:/code/data/rating22.csv')解决方案:用notepad++打开这个文件,将文件用Unicode编码重新保存。Traceback (most recent call last): File "C:/xin/code/gitlab/datascience-py/search-sort/read...

2018-10-30 14:50:51 20626

原创 Could not parse Master URL: 'loacl[12]'

代码里设置了是spark本地运行,Master是“local[12]”,但是运行后说无法识别。出现过好几次,具体原因没有找到。解决方案:重启idea后就好了。 val conf = new SparkConf().setAppName("ALSCode2Recomm").setMaster("local[*]")报错信息:18/10/24 11:46:10 WARN Utils: Se...

2018-10-30 14:46:10 3937

原创 scala object 无法执行

scala object 无法执行。原因:没有把文件夹标记为源码目录。解决方案:在源码根目录下,右击,标记为源码目录。

2018-10-30 14:40:19 1002

原创 spark-submit 超时 Executor heartbeat timed out after 123574 ms

提交任务到spark集群,老是超时。至于超时原因,可能是计算量太大。解决方案:提交时,加一个参数“–conf spark.network.timeout=10000000”。spark-submit –conf spark.network.timeout=10000000 \参考:https://stackoverflow.com/questions/37260230/spark-clu...

2018-10-30 14:18:43 8860

原创 Python TypeError: 'newline' is an invalid keyword argument for this function

写一个存为csv文件的代码 with open(outputFile, 'w', newline='') as csvfile: writer = csv.writer(csvfile) for item in sortsim: writer.writerow([item[0], item[1], item[2]])出现问题了Traceback (mo...

2018-10-29 15:50:19 2523

原创 scala中各种符号的意思

1. 泛型限定泛型中的符号 <: >: <% : + - 符号 作用 [T <: UpperBound] 上界 [T >: LowerBound] 下界 [T <% ViewBound] 视界 [T : ContextBound] 上下文界 [+T] 协变...

2018-04-08 16:49:38 7402

原创 虚拟机网络 - 互通、联网

1.有三种连接模式VMnet0:桥接 Bridge。 电脑使用无线路由器联网时。VMnet1:仅主机 Host-Only。 不推荐使用。VMnet8:NAT。 在有交换机的局域网中。 VMnet0、VMnet1等这些网卡的名字,可以在VMware Workstation里自定义的,默认名字是这三个。2.设置地方有4处2.1、虚拟机全局网卡设置...

2018-03-28 17:26:34 938

原创 用SSH工具XShell连接谷歌云 root用户或普通用户

目录1.以root用户登入 2.普通用户,秘钥登入 3.启动shadowsocks失败1.用root用户登入1.1.进入谷歌云实例面板1.2.切换到root角色sudo -i 1.3.修改SSH配置文件/etc/ssh/sshd_configvi /etc/ssh/sshd_config修改PermitRootLogin和Password...

2018-03-17 16:34:35 117350 20

原创 IntelliJ IDEA 2017.3.1 使用手册

 因为CSDN博客时不时会报错,后续更新在:https://my.oschina.net/datadev/blog/2876471目录1.激活、首次设置2.创建maven项目 3.执行maven命令4.创建maven moudle工程5.新建java文件6.发布到tomcat7.设置字体大小自动导包提示8.多项目9.插件下载失败解决办法10.代码起多个实例 插...

2018-02-28 21:04:00 3962

宗成庆《统计自然语言处理》 目录的思维导图

图片预览可以看这里:https://yq.aliyun.com/articles/672429 if(链接地址不对的话): 到我的CSDN博客看。 把目录整理成的思维导图。

2018-11-22

机器学习 统计学习方法概论 思维导图

综述统计学习的定义、研究对象与方法; 监督学; 统计学习方法的三要素:模型、策略和算法; 模型选择,包括正则化、交叉验证与学习的泛化能力; 生成模型与判别模型; 监督学习方法的应用:分类问题、标注问题与回归问题。

2018-05-06

《scala语言规范.pdf 》中文、英文版 《scala程序设计》pdf、epub格式 低分打包下载

《ScalaReference.pdf 》是官方出的指导书,《scala语言规范.pdf》是其的中文译版。《scala程序设计》这本书讲的比较细致,epub格式可以放在手机、平板里,方便在移动端看。

2018-03-20

Java并发编程技术思维导图

对Java并发编程技术的总结,包括底层实现原理、JMM、线程、synchronized、AQS、Lock、并发容器和框架、13个原子操作类、并发工具、线程池、Executor框架、IO通信模式、并发模型。

2018-03-14

实战Java高并发程序设计 带目录书签

博客中部分源码。 较新的一本并发编程方面的书籍,2015年出版的。内容包括了锁的优化及注意事项、并行模式与算法、Java8函数式编程、使用AKKa构建高并发程序、并行程序调试。

2018-03-10

Notepad++_6.9.1支持NppFtp插件

notepad++的npp sftp插件。连接Linux后可以修改配置文件、查看日志。 http://blog.csdn.net/datadev_sh/article/details/73551443

2018-03-02

《java并发编程实战》 带源码 带目录书签

本书作者之一,Doug Lea ,Java并发包的设计与实现者。 这本书名为《Java并发编程实践》有些抹杀了它的价值,其中并非只讲述了Java的多线程设施,对一般的并发编程的rationale也有相当透彻的阐述。 目录 对本书的赞誉 译者序 前 言 第1章 简介  1.1 并发简史  1.2 线程的优势   1.2.1 发挥多处理器的强大能力   1.2.2 建模的简单性   1.2.3 异步事件的简化处理   1.2.4 响应更灵敏的用户界面  1.3 线程带来的风险   1.3.1 安全性问题   1.3.2 活跃性问题   1.3.3 性能问题  1.4 线程无处不在 第一部分 基础知识  第2章 线程安全性   2.1 什么是线程安全性   2.2 原子性    2.2.1 竞态条件    2.2.2 示例:延迟初始化中的竞态条件    2.2.3 复合操作   2.3 加锁机制    2.3.1 内置锁    2.3.2 重入   2.4 用锁来保护状态   2.5 活跃性与性能  第3章 对象的共享   3.1 可见性    3.1.1 失效数据    3.1.2 非原子的64位操作    3.1.3 加锁与可见性    3.1.4 Volatile变量   3.2 发布与逸出   3.3 线程封闭    3.3.1 Ad-hoc线程封闭    3.3.2 栈封闭    3.3.3 ThreadLocal类   3.4 不变性    3.4.1 Fi nal域    3.4.2 示例:使用Volatile类型来发布不可变对象   3.5 安全发布    3.5.1 不正确的发布:正确的对象被破坏    3.5.2  不可变对象与初始化安全性    3.5.3 安全发布的常用模式    3.5.4 事实不可变对象    3.5.5 可变对象    3.5.6 安全地共享对象  第4章 对象的组合   4.1 设计线程安全的类    4.1.1 收集同步需求    4.1.2 依赖状态的操作    4.1.3 状态的所有权   4.2 实例封闭    4.2.1 Java监视器模式    4.2.2 示例:车辆追踪   4.3 线程安全性的委托    4.3.1 示例:基于委托的车辆追踪器    4.3.2 独立的状态变量    4.3.3 当委托失效时    4.3.4 发布底层的状态变量    4.3.5 示例:发布状态的车辆追踪器   4.4 在现有的线程安全类中添加功能    4.4.1 客户端加锁机制    4.4.2 组合   4.5 将同步策略文档化  第5章 基础构建模块   5.1 同步容器类    5.1.1 同步容器类的问题    5.1.2 迭代器与Concurrent-ModificationException    5.1.3 隐藏迭代器   5.2 并发容器    5.2.1 ConcurrentHashMap    5.2.2 额外的原子Map操作    5.2.3 CopyOnWriteArrayList   5.3 阻塞队列和生产者-消费者模式    5.3.1 示例:桌面搜索    5.3.2 串行线程封闭    5.3.3 双端队列与工作密取   5.4 阻塞方法与中断方法   5.5 同步工具类    5.5.1 闭锁    5.5.2 FutureTask    5.5.3 信号量    5.5.4 栅栏   5.6 构建高效且可伸缩的结果缓存 第二部分 结构化并发应用程序  第6章 任务执行   6.1 在线程中执行任务    6.1.1 串行地执行任务    6.1.2 显式地为任务创建线程    6.1.3 无限制创建线程的不足   6.2 Executor框架    6.2.1 示例:基于Executor的Web服务器    6.2.2 执行策略    6.2.3 线程池    6.2.4 Executor的生命周期    6.2.5 延迟任务与周期任务   6.3 找出可利用的并行性    6.3.1 示例:串行的页面渲染器    6.3.2 携带结果的任务Callable与Future    6.3.3 示例:使用Future实现页面渲染器    6.3.4 在异构任务并行化中存在的局限    6.3.5 CompletionService:Executor与BlockingQueue    6.3.6 示例:使用CompletionService实现页面渲染器    6.3.7 为任务设置时限    6.3.8 示例:旅行预定门户网站  第7章 取消与关闭   7.1 任务取消    7.1.1 中断    7.1.2 中断策略    7.1.3 响应中断    7.1.4 示例:计时运行    7.1.5 通过Future来实现取消    7.1.6 处理不可中断的阻塞    7.1.7 采用newTaskFor来封装非标准的取消   7.2 停止基于线程的服务    7.2.1 示例:日志服务    7.2.2 关闭ExecutorService    7.2.3 “毒丸”对象    7.2.4 示例:只执行一次的服务    7.2.5 shutdownNow的局限性   7.3 处理非正常的线程终止   7.4 JVM关闭    7.4.1 关闭钩子    7.4.2 守护线程    7.4.3 终结器  第8章 线程池的使用   8.1 在任务与执行策略之间的隐性耦合    8.1.1 线程饥饿死锁    8.1.2 运行时间较长的任务   8.2 设置线程池的大小   8.3 配置ThreadPoolExecutor    8.3.1 线程的创建与销毁    8.3.2 管理队列任务    8.3.3 饱和策略    8.3.4 线程工厂    8.3.5 在调用构造函数后再定制ThreadPoolExecutor   8.4 扩展 ThreadPoolExecutor   8.5 递归算法的并行化  第9章 图形用户界面应用程序   9.1 为什么GUI是单线程的    9.1.1 串行事件处理    9.1.2 Swing中的线程封闭机制   9.2 短时间的GUI任务   9.3 长时间的GUI任务    9.3.1 取消    9.3.2 进度标识和完成标识    9.3.3 SwingWorker   9.4 共享数据模型    9.4.1 线程安全的数据模型    9.4.2 分解数据模型    9.5 其他形式的单线程子系统 第三部分 活跃性、性能与测试  第10章 避免活跃性危险   10.1 死锁    10.1.1 锁顺序死锁    10.1.2 动态的锁顺序死锁    10.1.3 在协作对象之间发生的死锁    10.1.4 开放调用    10.1.5 资源死锁   10.2 死锁的避免与诊断    10.2.1 支持定时的锁    10.2.2 通过线程转储信息来分析死锁   10.3 其他活跃性危险    10.3.1 饥饿    10.3.2 糟糕的响应性    10.3.3 活锁  第11章 性能与可伸缩性   11.1 对性能的思考    11.1.1 性能与可伸缩性    11.1.2 评估各种性能权衡因素   11.2 Amdahl定律    11.2.1 示例:在各种框架中隐藏的串行部分    11.2.2 Amdahl定律的应用   11.3 线程引入的开销    11.3.1 上下文切换    11.3.2 内存同步    11.3.3 阻塞   11.4 减少锁的竞争    11.4.1 缩小锁的范围(“快进快出”)    11.4.2 减小锁的粒度    11.4.3 锁分段    11.4.4 避免热点域    11.4.5 一些替代独占锁的方法    11.4.6 监测CPU的利用率    11.4.7 向对象池说“不”   11.5 示例:比较Map的性能   11.6 减少上下文切换的开销  第12章 并发程序的测试   12.1 正确性测试    12.1.1 基本的单元测试    12.1.2 对阻塞操作的测试    12.1.3 安全性测试    12.1.4 资源管理的测试    12.1.5 使用回调    12.1.6 产生更多的交替操作   12.2 性能测试    12.2.1 在PutTakeTest中增加计时功能    12.2.2 多种算法的比较    12.2.3 响应性衡量   12.3 避免性能测试的陷阱    12.3.1 垃圾回收    12.3.2 动态编译    12.3.3 对代码路径的不真实采样    12.3.4 不真实的竞争程度    12.3.5 无用代码的消除   12.4 其他的测试方法    12.4.1 代码审查    12.4.2 静态分析工具    12.4.3 面向方面的测试技术    12.4.4 分析与监测工具 第四部分 高级主题  第13章 显式锁   13.1 Lock与 ReentrantLock    13.1.1 轮询锁与定时锁    13.1.2 可中断的锁获取操作    13.1.3 非块结构的加锁   13.2 性能考虑因素   13.3 公平性   13.4 在synchronized和ReentrantLock之间进行选择   13.5 读-写锁  第14章 构建自定义的同步工具   14.1 状态依赖性的管理    14.1.1 示例:将前提条件的失败传递给调用者    14.1.2 示例:通过轮询与休眠来实现简单的阻塞    14.1.3 条件队列   14.2 使用条件队列    14.2.1 条件谓词    14.2.2 过早唤醒    14.2.3 丢失的信号    14.2.4 通知    14.2.5 示例:阀门类    14.2.6 子类的安全问题    14.2.7 封装条件队列    14.2.8 入口协议与出口协议   14.3 显式的Condition对象   14.4 Synchronizer剖析   14.5 AbstractQueuedSynchronizer   14.6 java.util.concurrent同步器类中的 AQS    14.6.1 ReentrantLock    14.6.2 Semaphore与CountDownLatch    14.6.3 FutureTask    14.6.4 ReentrantReadWriteLock  第15章 原子变量与非阻塞同步机制   15.1 锁的劣势   15.2 硬件对并发的支持    15.2.1 比较并交换    15.2.2 非阻塞的计数器    15.2.3 JVM对CAS的支持   15.3 原子变量类    15.3.1 原子变量是一种“更好的volatile”    15.3.2 性能比较:锁与原子变量   15.4 非阻塞算法    15.4.1 非阻塞的栈    15.4.2 非阻塞的链表    15.4.3 原子的域更新器    15.4.4 ABA问题  第16章 Java内存模型   16.1 什么是内存模型,为什么需要它    16.1.1 平台的内存模型    16.1.2 重排序    16.1.3 Java内存模型简介    16.1.4 借助同步   16.2 发布    16.2.1 不安全的发布    16.2.2 安全的发布    16.2.3 安全初始化模式    16.2.4 双重检查加锁   16.3 初始化过程中的安全性 附录A 并发性标注 参考文献

2018-02-01

Linux网络编程

目录: 1、Linux模型 2、进程控制 3、进程间通信 4、通信协议简介 5、Berkeley套接字 6、网络安全性 7、远程命令执行 8、远程注册 9、远程过程调用 10、远程磁带访问 11、WWW上HTTP协议 附录 A 有关网络通信的服务和网络库函数 附录 B Vi 使用简介 附录 C Linux 下 C 语言使用与调试简介

2018-01-29

支付风控系统

内容摘要: 账户风险:拖库、洗库、撞库 套现风险、合规风险、洗钱风险 用户画像、设备画像、商品画像 黑白灰名单 第一章支付风控场景分析 第二章支付风控数据仓库建设 第三章支付风控模型分析 第四章支付系统整体架构 风控是一个让人爱恨交加的话题。 对支付来说风控是必不可少的功能。只要老板不想把底裤都赔掉,那就必须上风控。可对互联网公司来说,风控是一个谜一般的话题,无论是对风控专家还是IT工程师而言。 随着互联网和大数据技术的引入,风控变成了一个跨学科的领域,可这无疑是互联网公司里面最同床异梦的跨学科。机器学习,深度学习,规则推理,随机森林….光这些名词就足以让人风控专家望而怯步;而风险事件、尽职调查、巴塞尔协议.. 这些名词,一提起来IT人员就头大。这个系列的文章将试图从这两个领域简单梳理下支付风控面临的问题,以及如何从技术角度来解决这些问题。

2018-01-28

啊哈!算法 啊哈磊 带目录书签

第一次看是看到同学有人在看,当时感觉奇怪,怎么学渣也开始研究算法了。他说,“你不懂”!我无语的走了,一周后他还在看,我就觉得学渣这是要逆袭。然后就“强行”借走看了几天,感觉还真挺有意思的,比那什么谭浩强,清华大学版数据结构有趣多了。强烈推荐,可以作为算法启蒙书! 哈!算法 啊哈磊-带目录书签。 插图和讲解相当到位~~让人看了很感兴趣,把算法用非常形象的方式表达出来,通俗易懂,这下学习算法的朋友有福了。很有趣。 书里面主要本书中涉及到的数据结构有栈、队列、链表、树、并查集、堆和图等;涉及到的算法有排序、枚举、深度和广度优先搜索、图的遍历、最短路径、两种最小生成树、割点与割边、二分图最大匹配。

2018-01-28

LockSupport先park再unpark为啥不能停止

发表于 2018-03-12 最后回复 2019-08-30

Linux 虚拟内存 交换空间的意思

发表于 2018-03-16 最后回复 2018-10-10

线程不能被interrupt中断

发表于 2018-02-26 最后回复 2018-02-27

提示
确定要删除当前文章?
取消 删除