- 博客(160)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 从小白到大数据科学家
参加北大“智能多媒体大数据研讨会”，听取很多业界大牛相关工作的分享。In some way，I got some information and it broaden my horizons.Then i will share my feeling.（题目是噱头，但也是一个收获）1、重新认识大数据今天报告涉及到很多方面：医疗（包括基于天河超级计算机的应用）、城市计算（主要是交通、环境监测）
2015-11-26 22:38:43
1645
1
原创 01. spring 源码环境搭建【ASIA读源码】
01. spring 源码环境搭建【ASIA读源码系列】一、环境准备1、需要java环境 >= jdk8；2、gradle安装；2.1 https://gradle.org/releases/下载（任意版本都可以，一般X.Y.Z，Y为偶数为稳定版本）[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-I8ulKdL3-1598443062110)(/Users/cuiyazhou01/Library/Application Support/typora-user
2020-08-26 20:01:09
441
原创 flink learn ：1 flink mac 安装及启动
1、安装一键安装$ brew install apache-flink...$ flink --versionVersion: 1.2.0, Commit ID: 1c659cf查看flink安装位置： ~ brew info apache-flinkapache-flink: stable 1.7.1, HEADScalable batch and strea...
2019-01-28 20:17:42
959
原创 每日一点bitcion
区块链项目分类列表：底层基础链： Ethereum、Qtum、Bitshaes、Waves、Aeternity、EOS、Tezos分布式储存：IPFS、Sia、Maidsafe、Storj分布式计算: iExec、Golem、Elastic物联网：IOTA跨链： Bancor、infinite、COSMOS匿名货币：Digital Cash、Zcash、Komodo资产管理: Melonport、...
2018-04-23 17:42:38
798
1
转载 nginx模块指令
转载：非常感谢两位大神！ http://jinnianshilongnian.iteye.com/blog/2186448 https://blog.csdn.net/imlsz/article/details/42297383Nginx共11个处理阶段，而相应的处理阶段是可以做插入式处理，即可插拔式架构；另外指令可以在http、server、server if、location、location...
2018-04-16 15:13:55
569
转载 java里Date 10位时间戳（Timestamp） String 相互转换
import java.sql.Timestamp;import java.text.DateFormat;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Date;/** * 时间转化工具 date转为时间戳 时间戳转date 互相与String的转换 * 所有出...
2018-03-15 16:17:08
21582
转载 如何成为一名区块链工程师？
转自：http://blog.csdn.net/blockchain_lemon/article/details/79447639春节前后，区块链再次刷爆我们的朋友圈，关注区块链的人正在以几何数集上升。大潮来临，一切都不同了，身怀绝技的程序员有了大展宏图的历史性机会，程序员们，是时候，毅然决然，懂点区块链技术了。本文列举了关于区块链和数字加密技术的文章和资源，分为以下几个部分：构建区块和基础；基础...
2018-03-07 09:13:46
3124
5
转载 MySQL查询优化-explain
摘要: 在分析查询性能时，考虑EXPLAIN关键字同样很管用。EXPLAIN关键字一般放在SELECT查询语句的前面，用于描述MySQL如何执行查询操作、以及MySQL成功返回结果集需要执行的行数。explain 可以帮助我们分析 select 语句,让我们知道查询效率低下的原因,从而改进我们查询,让查询优化器能够更好的工作。 一、MySQL 查询优化器是如何工作的
2017-12-01 09:48:14
539
转载 XGBoost中参数调优的完整指南（含Python-3.X代码）
CSDN：http://blog.csdn.net/kicilove/article/Github：https://github.com/zhaohuicici?tab=repositories原文链接：https://www.analyticsvidhya.com/blog/2016/03/complete-guide-parameter-tuning-xgboost-with-
2017-11-17 14:47:52
1939
转载 机器学习十大算法总览（含Python3.X和R语言代码）
引言一监督学习二无监督学习三强化学习四通用机器学习算法列表线性回归Linear Regression逻辑回归Logistic Regression决策树Decision Tree支持向量机SVM Support Vector Machine朴素贝叶斯Naive BayesK近邻KNN K- Nearest NeighborsK均值K-MeansK-means如何形成群类随机森林
2017-11-17 14:46:00
1001
转载 信贷风险指标你都懂吗？
转自：http://www.jianshu.com/p/bb85af35d7db⊙风控基本概念⊙贷款不良率/不良贷款率⊙逾期率Vintage统计法（Now和Ever）⊙DPD1+,DPD30+,DPD60+,DPD90+...引言17年3月份的时候，有一篇文章曾经引爆金融界，称某国内知名互联网金融逾期率高达30%+，然后很快被澄清，为计算口径问题，真实逾期率只有1%+。某上市银行信用卡的某abs，
2017-11-01 17:31:36
18140
1
原创 Mac上安装xgboost
毕业了工作一段时间了，好久没有写东西了。如果说一下从学校到职场的感受，就用经典的两个字可以描述--"围城"。没有什么都是自己想的那么好，直白点就是选择工作的时候一定要调研清楚，真正弄明白工作的真正性质，不要靠自己YY，否则工作了才发现不是自己想的那样就有点坑了。然而，目前发现我已经入坑了，所以以后工作还是彻底调研清楚，防忽悠！--------以上就当是简单吐槽下。最近看了下机器学习相关的东东，发
2017-10-26 19:53:00
1878
转载 Logstash之时区问题的建议和修改
大家在用Logstash收集日志时，发现@timestamp的时间比本地早8个小时，这是正常的，因为这个时间是UTC时间，日志应统一采用这个时间。原则上建议大家不要修改这个时间戳：[plain] view plain copy时区问题的解释 很多中国用户经常提一个问题：为什么 @timestamp 比我们早了 8 个小时
2017-02-16 08:50:40
10378
原创 长期运行Kibana
最近在搭建ELK平台，kibana是用tar包直接解压缩使用的方式安装的。但是安装完成后遇到一个问题就是如何让kibana后台运行，并且当断开ssh连接后，还能继续运行。后来想到了nohup命令。nohup用法：1 2 3 4 5 6 7 root@localhost:~ # m
2016-11-23 14:08:46
11052
转载 一份程序员的计划--可以参考
1.如何设计2016年的年度计划？2.SMART原则是什么意思？3.如何制定学习计划？这两年，我一直非常感恩，也特别幸运的是2015年我的身体能够好起来，能够有机会回到我最热爱的工作中，所以从年初在医生的许可下，逐渐恢复工作开始，一方面告诉自己一定要把工作做好，一方面也时时提醒自己要保持好的心态，照顾好自己的身体、家人的健康。回顾这一年，各方面的平衡做的不错。新
2016-10-19 21:11:10
3180
转载 天天写业务代码，如何成为技术大牛？
转自：https://yq.aliyun.com/articles/61020?utm_campaign=wenzhang&utm_medium=article&utm_source=QQ-qun&utm_content=m_6490摘要： 写在前面 不管是开发、测试、运维，每个技术人员心理多多少少都有一个成为技术大牛的梦，毕竟“梦想总是要有的，万一实现了呢”！正是对技术梦的追求，促使我们
2016-09-29 21:10:51
1654
转载 Java中的多线程
如果对什么是线程、什么是进程仍存有疑惑，请先Google之，因为这两个概念不在本文的范围之内。用多线程只有一个目的，那就是更好的利用cpu的资源，因为所有的多线程代码都可以用单线程来实现。说这个话其实只有一半对，因为反应“多角色”的程序代码，最起码每个角色要给他一个线程吧，否则连实际场景都无法模拟，当然也没法说能用单线程来实现：比如最常见的“生产者，消费者模型”。很多人都对其中的一些概念不
2016-08-31 18:57:10
585
原创 求职系列1--树构造、遍历
最近面试被问到树相关的问题，哎，好久没看了，忽然间还不太容易写出来，这次就总结下树相关的操作。1、树的构造（java）树构造分为两部分：一部分是树种节点，即Node节点，一般包括其Key、leftChild、rightChild，还可以自己构造一些方法，比如打印本节点的值。第二部分即树，主要包括树的生成、查询节点、删除节点、更新节点、遍历节点，（本次主要针对树的生成，以及树的遍历来
2016-08-11 16:56:13
606
原创 实习用到的hive 相关sql
a.dt as `日期`,--日期get_json_object(val_val,'$.ad_id') as ad_id, --获取json内容case order_from when 1 then 'app' when 2 then 'pc' end as order_from,--订单
2016-07-21 19:24:36
684
转载 Elasticsearch-原理
转自：http://www.shaheng.me/blog/2015/06/elasticsearch--.html一、概念1.1 官方文档以下总结自ElasticSearch的官方文档以及自己的一些实践，有兴趣的可以直接阅读官方文档： https://www.elastic.co/guide/en/elasticsearch/gui
2016-07-18 16:03:16
7592
原创 ES配置
ES集群内部节点访问，需配置：#network.publish_host为节点之间通信的IP地址network.publish_host: slave1#discovery.zen.ping.unicast.hosts为节点之间探寻的集群范围discovery.zen.ping.unicast.hosts: ["master","slave1", "slave2"]一般内部配置成内网
2016-07-12 17:31:29
649
转载 Centos6.5 iptables配置详解
1.什么是iptablesiptable其实是Linux下的数据包过滤软件，也是目前最新Linux发行版中默认的防火墙。要想深入了解iptables机制，了解防火墙的规则是必不可少的。由于iptables利用的数据包过滤的机制，所以它会分析数据包的报头数据。根据报头数据与定义的规则来决定该数据包是进入主机还是丢弃。 也就是说,根据数据包的分析资料”对比”预先定义的规则内容，若数据包数据与规
2016-07-05 10:23:16
3858
转载 时间序列数据库的秘密（3）——加载和分布式计算
加载如何利用索引和主存储，是一种两难的选择。选择不使用索引，只使用主存储：除非查询的字段就是主存储的排序字段，否则就需要顺序扫描整个主存储。选择使用索引，然后用找到的row id去主存储加载数据：这样会导致很多碎片化的随机读操作。没有所谓完美的解决方案。MySQL支持索引，一般索引检索出来的行数也就是在1~100条之间。如果索引检索出来很多行，很有可能MySQL会选
2016-06-27 17:43:39
2032
转载 时间序列数据库的秘密(2)——索引
如何快速检索？Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好，比如年龄在18和30之间，性别为女性这样的组合查询。倒排索引很多地方都有介绍，但是其比关系型数据库的b-tree索引快在哪里？到底为什么快呢？笼统的来说，b-tree索引是为写入优化的索引结构。当我们不需要支持快速的更新的时候，可以用预先排序等方式
2016-06-27 17:42:21
2428
转载 时间序列数据库的秘密（1）—— 介绍
什么是时间序列数据？最简单的定义就是数据格式里包含timestamp字段的数据。比如股票市场的价格，环境中的温度，主机的CPU使用率等。但是又有什么数据是不包含timestamp的呢？几乎所有的数据都可以打上一个timestamp字段。时间序列数据更重要的一个属性是如何去查询它。在查询的时候，对于时间序列我们总是会带上一个时间范围去过滤数据。同时查询的结果里也总是会包含timestamp字段。
2016-06-27 17:40:48
8677
原创 Centos下daemontools监控logstash进程
Logstash安装参考http://udn.yyuap.com/doc/logstash-best-practice-cn/get_start/daemon.html但是使用过程中安装supervisord 遇到了点问题，直接使用yum -y install supervisord --enablerepo=epel会报错：Error getting repository data for
2016-06-04 17:14:18
2327
转载 ElasticSearch的Gateway及存储原理
转自：http://log.medcl.net/item/2010/10/elasticsearch-the-gateway-and-storage/ES里有一个叫做gateway的东西，今天抽空理一下，前面翻译ES的一篇博文叫做“搜索引擎与时间机器”，既然里面谈到了时间机器，就免不了需要穿越时空的的门咯，I guess，也许gateway这名字就是这么来的，其实在ES里面，gatew
2016-05-19 13:12:58
38279
转载 Elasticsearch与Solr对比
转自：http://i.zhcy.tk/blog/elasticsearchyu-solr/搜索引擎选型调研文档Elasticsearch简介*Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。它可以用于全文搜索，结构化搜索以及分析，当然你也可以将这三者进行组合。Elasticsearch是一个
2016-05-19 13:10:18
933
1
原创 设计模式（一）-- 工厂模式
一、概念简单工厂提供创建对象实例的功能，而无需关心起具体实现。简单工厂方法的内部主要实现的功能是：选择合适的实现类来创建实例对象。而不是通过构造方法来进行创建对象实例，而是通过一个产生对象实例的工厂来创建对象实例。二、结构图三、具体代码实现参见github：https://github.com/asiacui/DesignModel/tree/m
2016-05-19 13:03:28
508
转载 一文读懂机器学习
从机器学习谈起 在本篇文章中，我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。这篇文档也算是EasyPR开发的番外篇，从这里开始，必须对机器学习了解才能进一步介绍EasyPR的内核。当然，本文也面对一般读者，不会对阅读有相关的前提要求。 在进入正题前，我想读者心中可能会有一个疑惑：机器学习有什么重要性，以至于
2016-05-18 09:00:25
1117
1
原创 ElasticSearch之Java Api聚合分组实战
转自：http://qindongliang.iteye.com/blog/2289590#rd最近有个日志收集监控的项目采用的技术栈是ELK+JAVA+Spring，客户端语言使用的是Java，以后有机会的话可以试一下JavaScript+Nodejs的方式，非常轻量级的组合，只不过不太适合服务化的工程，Kibana充当可视化层，功能虽然非常强大和灵活，但是需要业务人员懂Lucene的查询语
2016-05-11 19:39:33
21748
2
转载 大数据学习资源汇总
当前，整个互联网正在从IT时代向DT时代演进，大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方法，也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。为了帮助大家更好深入了解大数据
2016-05-06 14:46:56
1925
转载 数据库的原理（二）
全局概览我们已经了解了数据库内部的基本组件，现在我们需要回来看看数据库的全貌了。数据库是一个易于访问和修改的信息集合。不过简单的一堆文件也能达到这个效果。事实上，像SQLite这样最简单的数据库也只是一堆文件而已，但SQLite是精心设计的一堆文件，因为它允许你：使用事务来确保数据的安全和一致性快速处理百万条以上的数据数据库一般可以用如下图形
2016-05-06 09:09:31
635
转载 数据库的原理（1）
一提到关系型数据库，我禁不住想：有些东西被忽视了。关系型数据库无处不在，而且种类繁多，从小巧实用的 SQLite 到强大的 Teradata 。但很少有文章讲解数据库是如何工作的但少有文章讲解数据库是如何工作的。你可以自己谷歌/百度一下『关系型数据库原理』，看看结果多么的稀少。难道关系型数据库已经太古老太无趣，除了大学教材、研究文献和书籍以外，没人愿意讲了吗？作为一个开发人
2016-05-06 09:08:24
555
原创 java 集合类Array、List、Map区别和联系
Java集合类主要分为以下三类：第一类：Array、Arrays第二类：Collection ：List、Set第三类：Map ：HashMap、HashTable 一、Array ， ArraysJava所有“存储及随机访问一连串对象”的做法，array是最有效率的一种。1、效率高，但容量固定且无法动态改变。array还有一个缺点是，无
2016-05-05 11:09:11
541
原创 spark rdd
RDD是弹性分布式数据集，即一个RDD代表一个被分区的只读数据集。一个RDD生成有两种途径，一个来自于内存集合和外部存储系统，另一种是通过转换操作来自于其他RDD，比如：map、filter、jion等。 RDD分区：对于一个RDD而言，分区的多少代表着对这个RDD进行并行计算的粒度，每一个RDD分区的计算操作都在一个单独的任务中被执行。对于分区的多少用户可以自己指定，如果没有指定将会使
2016-05-03 17:50:02
793
原创 Easyui Datagrid自动调整行号大小
相信很多人在使用easyui的时候都遇到过这个问题,当我们设置成显示Rownumber的时候,你会发现,如果Rownumber越来越大,达到三位数或者四位数的时候,Rownumber就显示不全了.这个问题纠结了不知道多少人,在群里和论坛里面都的都被问到无数次了. 以前也一直没有太认真考虑过要解决这个问题,恰好最近有点时间,就研究了一下,其实要解决也很简单,扩展一个方法就行了.首先,从dat
2016-04-28 14:57:54
5369
转载 利用正则表达式排除特定字符串
阅读目录查找不以baidu开头的字符串查找不以com结尾的字符串查找不含有if的行回到顶部查找不以baidu开头的字符串baidu.comsina.com.cn正则：^(?!baidu).*$ 匹配结果就是第2行，也就是第1行被排除了这里使用了零宽度断言(?!exp),注意，我们有一个向前查找的语法(也叫顺序环视) (?=exp)(?=e
2016-04-26 10:16:56
616
转载 JQuery EasyUI combobox动态添加option
方法一：1 var data, json;2 json = '[{"id":"年计划","text":"年计划","selected":true}]';3 data = $.parseJSON(json);4 $("#rwlb").combobox("loadData", data);方法二：1 var data,json;2 data = [];3 data
2016-04-24 15:54:54
2653
centos7.6机器上离线安装docker-ce-19.03、nvidia-docker2
2023-11-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人