自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

小哈-whzhaochao

飞奔的小哈

原创 IntelliJ IDEA 更新到2020 Cannot load a JDK class: com.sun.jdi.Field Please ensure you run the IDE on

IntelliJ IDEA 更新到2020 后打开闪退报错Cannot load a JDK class: com.sun.jdi.Field Please ensure you run the IDE on JDK rather than JRE. 解决方法 新建环境变量:IDEA_JDK...

2020-04-15 17:37:17 1093 0

原创 java8 lambda Stream 将分组后的对象所有字段相加得到一个对象

数据结构 现有多个对象,存储每个租户的视频/音频/图片大小,对象结构如下 public class TBucketSize { private Long tenantId; private Long imgSize; private Long audioSize; ...

2020-04-03 17:19:09 287 0

原创 Windows 无法启动Redis服务器(位于本地课计算机上)错误1053:服务没有及时响应启动或控制请求

文章来源:http://ksfmaster.com/article/4 写在前面 一直使用linux版Redis,临时下载了windows版本Redis 配置密码后在windows服务中重启Redis时报“Windows 无法启动Redis服务器(位于本地课计算机上)错误1053:服务没有及时...

2019-12-20 09:46:51 688 0

原创 配合Kibana记录一次 ElasticSearch JVM 调优实战

先上图 主要问题:  GC count 中Old和YoungGC在10点之前次数比较频繁   1、第一步优化       在JVM Heap图表中可以看到在10点之前UsedHeap基本上等于Max Heap,所以引起频繁的 Old GC,修改ElasticSearch配置文件confi...

2018-12-10 11:03:03 1286 0

原创 《阿里巴巴Java开发手册》插件安装及使用

Idea安装IDEA版的插件已发布到IDEA官方仓库中(最低支持版本14.1.7,JDK1.7+),只需打开 Settings >> Plugins >> Browse repositories 输入 Alibaba 搜索一下便可以看到对应插件了,点击安装等待安装完成。至于...

2017-10-16 10:42:03 570 0

原创 实战SparkStream+Kafka+Redis实时计算商品销售额

写在前面2016年天猫双十一当天,零点的倒计时话音未落,52秒交易额冲破10亿。随后,又迅速在0时6分28秒,达到100亿!每一秒开猫大屏上的交易额都在刷新,这种时实刷新的大屏看着感觉超爽。天猫这个大屏后面的技术应该是使用流计算,阿里使用Java将Storm重写了,叫JStrom(https://...

2017-08-30 16:45:39 10604 7

原创 使用Maven自动打包配置文件生成开发环境,测试环境,生产环境

写在前面项目中往往有开发环境、测试环境、生产环境,这几个环境有些配置文件可能是不一样的,三个环境切换时以前基本是靠手动注释文件来打成不同的包。如果不同的配置文件过多,粗心打包后,就会导致配置文件出错,从而使项目部署出问题。例如Mysql配置文件在项目中有可能会使用如下情况,通过手动注释切换配置文件...

2017-07-24 11:15:05 7293 0

转载 欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦: Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富...

2017-07-05 10:23:10 306 0

原创 使用Spark完成基于TF-IDF特征的新闻热点聚类

写在前面互联网各个地方时时刻刻都在发生着这样或者那样的事件,如果使用人工去观察根本无法全文们的知晓哪地方发生了什么热点事件,做为主流媒体更喜欢第一时间得知热点事件的发生,好及时的紧靠热点。舆情监控的目的就是及时的得知互联网上发生的热点事件,舆情监控也是媒体大数据的一项重要工作。本文简单实现一个简单...

2017-06-23 17:43:34 7261 9

原创 使用spark TF-IDF特征计算文章间相似度

写在前面计算字符串之前的相似度可以使用 Levenshtein distance(最小编辑距离)来实现,JAVA实现可以参考http://blog.csdn.net/ironrabbit/article/details/18736185,计算新闻标题间的相似度间可以使用这个算法,如果是计算整篇文章...

2017-06-23 12:03:11 4347 3

原创 使用MapReduce计算框架统计CDN日志IP数、流量等数据

写在前面前面两篇文章中,我们使用Spark RDD及Spark Streaming 从CDN日志中计算出了独立IP数、每个视频独立IP数、每时CDN流量,这里我们将使用MapReduce计算框架,从同样的日志中完成相同的计算,前提是首页要搭建好Hadoop及HDFS运行环境独立IP计算计算思路 M...

2017-05-26 15:31:05 2056 2

原创 使用SparkSQL 分析日志中IP数、流量等数据

写在前面前面文章中,我们使用Spark RDD从非结构化的日志文件中分析出了访问独立IP数,单个视频访问独立IP数和每时CDN流量,这篇文章主要介绍使用Spark SQL从结构化的数据中完成这些数据的分析,如下图所有,先将日志文件结构化成csv文件,此文件可从源码cdn.csv中获取Pom文件中添...

2017-05-19 15:06:43 4466 1

原创 Spark 加强版WordCount ,统计日志中文件访问数量

原文地址:http://blog.csdn.net/whzhaochao/article/details/72416956写在前面学习Scala和Spark基本语法比较枯燥无味,搞搞简单的实际运用可以有效的加深你对基本知识点的记忆,前面我们完成了最基本的WordCount功能的http://blo...

2017-05-17 17:25:13 7080 2

原创 Idea 使用Maven创建Spark WordCount 案例

文章出处 http://blog.csdn.net/whzhaochao/article/details/72358215写在前面一直想学习一下大数相关知识,之前感觉门槛有点高,跑一个HelloWorld需要安装配置一大堆东西,最近有点时间,重新想学习一下大数据相关知识,这次我选择了Scala+S...

2017-05-17 10:57:48 5622 0

原创 微信小程序学习笔记(2)----HelloWorld分析

写在前面在学习HelloWorld之前首页需要破解微信开发工具,前面一篇有相关破解教程:http://blog.csdn.net/whzhaochao/article/details/52691550IDE结构上图是微信开发工具自动生成的一个HelloWorld,微信小程序的开发、调试都在这个工具...

2016-09-28 17:29:36 4699 0

原创 微信小程序学习笔记(1)----学习资料整理

微信小程序破解教程微信小程序只对少部分开放公测名额,大部分人都是没有权限,所以想要体验微信小程序开发还是需要破解一下的,破解方法比较简单,GitHub上早已有了破解教程https://github.com/xiangchuwang/Wechat_IDE_For_Crack 注意事项 在安装开发...

2016-09-28 16:36:08 4735 0

原创 grpc java helloworld 简单demo实现

写在前面最近google发布了grpc1.0,之前一直关注过grpc,数据交互使用了protocol buffer,相比之前使用的hession和json序列化方式性能应该提升不少,所有先搞一个grpc的hello world跑一下,项目使用maven搭建,并使用idea开发。 使用idea创建m...

2016-09-03 10:47:36 22872 22

转载 ice-dubbo-thrift-grpc性能测试对比

本测试只是个人为了对rpc进行技术选型,测试可能不够严谨,对某些rpc的参数可能也不是最优,如果你知道更优的参数配置或者改进意见等,欢迎反馈给我magicdoom@gmail.com。另外代码有些地方只是为了测试方便,不作为平时编程的范例。所有测试源码和运行均一起提供在附件里。测试源码工程可用id...

2016-05-14 16:11:06 20335 1

原创 使用轻量级JAVA 爬虫Gecco工具抓取新闻DEMO

写在前面最近看到Gecoo爬虫工具,感觉比较简单好像,所有写个DEMO测试一下,抓取网站 http://zj.zjol.com.cn/home.html,主要抓取新闻的标题和发布时间做为抓取测试对象。Gecoo GitHub地址 https://github.com/xtuhcy/gecco ...

2016-04-08 14:15:16 4937 1

原创 分布式Web应用----zookeeper基本工作原理

写在前面前面一篇文章简单介绍了zookeeper的安装,当安装好了zookeeper后,我们可以通过zookeeper自带的客户端连接到zookeeper上,并对其进行操作,在对它进行操作前我们先要了解一些基本的知识。zookeeper工作原理 上图为zookeeper的节点结构,其中/为zoo...

2016-04-02 17:34:27 1776 0

原创 分布式Web应用----Linux环境下zookeeper集群环境的安装与配置

写在前面zookeeper是分布式应用中运用的比较广泛,了解zookeeper的原理对理解分布架构的应用具有很大的帮助,学会安装zookeeper则是学习zookeeper的前提,自己刚刚学习zookeeper,记录一下安装过程,增加自己印象,方便其它人学习。下载zookeeperzookeepe...

2016-03-27 20:06:57 1298 1

原创 分布式Web应用----基于Socket+动态代理实现简单RPC 生产者消费者模型

写在前面前面一文主要简单介绍了JAVA动态代理基本原理,这也是实现RPC的基本知识,这里我们运用Socket简单实现一个远程过程调用,方便大家理解RPC的基本原理,希望对大家有所帮助。新建People接口类与Man实现类接口类public interface People { public...

2016-03-15 21:08:29 1425 1

原创 分布式Web应用----Java动态代理技术实现原理分析

原文链接:http://www.zhaochao.net/index.php/2016/03/11/20/写在前面 在企业开发中,最基本的开发架构可能就算是MVC框架,如 Struts+Spring+Hibernate 或者 SpringMVC+Spring+Mybatis ,这些框架也可能是J...

2016-03-11 22:00:54 984 0

原创 SEO优化之——html页面相关总结

写在前面在前面一篇文章中我简单介绍了怎么优化SEO,其中一点就是网站html结构的优化。网站结构的优化主要是让搜索引擎爬虫更好的理解你网站内容,从而让它喜欢上你的网站,这样它才会经常来爬你的网站,网站排名自然靠前了。这里我简单总结一些前端设计页面时应该注意的事项,总结可能不全,仅在我能力范围内,有...

2016-03-08 22:11:31 3687 3

原创 SEO优化之——常用工具总结

写在前面SEO优化就是让网站排名更靠前,那么怎么来衡量一个网站SEO的好坏呢?通常我们是借助一些SEO工具来查询一个网站SEO的相关信息,以下介绍一些本人知道的工具,有更好的工具请大家补充。百度 如上图所示为2015年中国搜索引擎市场份额,从图中可以看出百度在PC端和移动端都占据了大半壁江山,...

2016-03-07 20:14:23 1012 0

原创 SEO优化之——网站SEO优化初步总结

什么是SEO SEO是由英文Search Engine Optimization缩写而来, 中文意译为“搜索引擎优化”。SEO是指通过对网站内部调整优化及站外优化,使网站满足搜索引擎收录排名需求,在搜索引擎中提高关键词排名,从而把精准用户带到网站,获得免费流量,产生直接销售或品牌推广。 上面这...

2016-03-06 21:59:02 777 0

原创 SEO优化之——百度搜索高级指令教程

原文链接:http://www.zhaochao.net/index.php/2016/03/06/16/写在前面 最近正在学习SEO相关的知识,对于从事SEO的开发人员来说学会一些高级搜索指令是很有必要的,对于百专业人员来说,会一些高级搜索指令对你在茫茫互联网上寻找到你想要的信息也是很有帮助...

2016-03-06 15:53:14 2780 0

原创 基于内容的简单相关新闻推荐系统方案

写作背景最近接手一个新闻项目,项目比较小,属于官网的一个支站,官网新闻条目有700多万条,我负责的支站新闻条目11万条,我想拿这个小支站用来练练手,做一个小的基于内容的新闻推荐,当用户看某片新闻时,旁边显示和这条新闻相关的新闻列表。总体思路站点比较小,简单点能实现要求就好,主要步骤如下所示 建立...

2016-02-05 17:18:30 5581 12

原创 计算两组标签/关键词 相似度算法

写作背景标签在互联网行业有大量的应用,给博客打标签,给商品打标签,给新闻打标签。通常每篇文章会打上多个标签,好的标签系统给后期的数据分析可以带来巨大的利处。最近想做一个基于内容的新闻简单推荐系统,其中的一个推荐权重就是两篇新闻标签的相似度,由于没什么数据挖掘和机器学习经验,自己一直在摸索,感觉自己...

2016-02-05 11:03:40 11026 5

转载 ZIMG -- 高性能图片服务器浅谈

(偶然的在网上看到这篇文章, 觉得ZIMG很优秀, 只是目前版本是1.0还不支持分布式, 也期望后续版本如作者所说会支持集群. 项目代码可以去github: https://github.com/buaazp/zimg/) 综述 2011年李彦宏在百度联盟峰会上就提到过互...

2016-02-01 10:26:35 2814 0

转载 大型网站图片服务器架构的演进

原文链接:http://blog.jobbole.com/87967/在主流的Web站点中,图片往往是不可或缺的页面元素,尤其在大型网站中,几乎都将面临“海量图片资源”的存储、访问等相关技术问题。在针对图片服务器的架构扩展中,也会历经很多曲折甚至是血泪教训(尤其是早期规划不足,造成后期架构上很难兼...

2016-02-01 10:23:04 1820 0

转载 Web 研发模式演变

原文链接:https://github.com/lifesinger/blog/issues/184 前不久徐飞写了一篇很好的文章:Web 应用的组件化开发。本文尝试从历史发展角度,说说各种研发模式的优劣。 一、简单明快的早期时代 可称之为 Web 1.0 时...

2016-01-27 11:27:43 569 0

原创 Hessian配置用户名和密码

原文链接 http://www.zhaochao.net/index.php/2016/01/26/12/配置原因随着业务的发展项目会变的越来越多,项目需要进行模块化与服务化,服务化中常用的方法就是使用RPC技术,Hessian就是常用的一种RPC技术。之前用过Hessian,没有考虑太多,只是用...

2016-01-26 10:59:29 2104 0

转载 你应该知道的RPC原理

原文链接  https://yq.aliyun.com/articles/3229?utm_source=tuicool&utm_medium=referral 摘要      在学校期间大家都写过不少程序,比如写个hello world服务类,然后本地调用下,如下所示。这些...

2016-01-26 08:56:38 717 0

转载 nginx配置location总结及rewrite规则写法

location正则写法 一个示例: location = / { # 精确匹配 / ,主机名后面不能带任何字符串 [ configuration A ] } location / { # 因为所有的地址都以 / 开头,所以这条规则将匹配到所有请求 # 但是正则和最...

2016-01-25 08:45:29 940 0

原创 JAVA 通过freemarker 生成Word 带图片格式

新建一个word另保存为XML文件格式保存的XML文件如下<?xml version="1.0" encoding="utf-8"?> <?mso-application progid="Word.Document"?&...

2015-12-31 11:17:33 24797 7

原创 JAVA HTTP POST参数为一个对象或数组

原文链接http://zhaochao.net/index.php/2015/12/04/4/问题描述最近接到一个很简单的问题,对方提供了一个接口,让我每隔一段时间像他的接口推送一些数据,因为数据量比较大,所以这种Http 请求类型肯定是Post请求。这种推送过去的参数是一个很大的数组,而且数据字...

2015-12-04 22:08:41 20312 0

原创 Spring+Jetty+Jersey+Mybatis整合教程 无web.xml 、webapp版

原文链接 http://blog.csdn.net/whzhaochao/article/details/50152833项目总体目录结构项目结构说明com.zhaochao.action 主要放处理RESTFull 接口业务,代码如下所示@Path("user") publ...

2015-12-02 21:01:59 6973 2

原创 IKAnalyzer 添加扩展词库和自定义词

IKanalyzer分词器IK分词器源码位置 http://git.oschina.net/wltea/IK-Analyzer-2012FFIKanalyzer源码基本配置如图所示是IKanlyzer加载默认配置的路径项目中配置扩展词库如图所示,当我们导入Ikanlyzer jar包后,使用扩展词...

2015-12-01 15:52:57 9167 1

原创 跨域读写Cookie

原文链接Cookie作用域Cookie 在二级域名下是可以共享的,如www.a.com 和m.a.com 他们的Cookie 是可以共享的,这也是很多单点登录利用Cookie实现的原理,但是很多站点不是二级域名的如www.taobao.com和www.tmall.com,它们是完成两个不同的域名,...

2015-12-01 09:19:11 13789 0

提示
确定要删除当前文章?
取消 删除