2018年09月_水月风情

转载 Get与Post请求的区别

比较 GET 与 POST下面的表格比较了两种 HTTP 方法：GET 和 POST。 GET POST 后退按钮/刷新无害数据会被重新提交（浏览器应该告知用户数据会被重新提交）。书签可收藏为书签不可收藏为书签缓存能被缓存不能缓存编码类型 application/x-www-form-urlencod...

2018-09-28 13:53:23 90

原创 zookeeper负载均衡和数据同步

如何利用zookeeper做负载均衡呢，并且能够让客户端动态监控服务端的状态，一旦有的服务器挂掉，客户端能够迅速感知，从而做出调整。先演示一遍：注意，本地要运行一个zookeeper，让客户端和服务端分别和zookeeper进行连接，能实时跟zookeeper保持联系。import java.io.BufferedReader;import java.io.IOException;i...

2018-09-20 14:45:52 1623 2

原创关于Solr的maxWarmingSearchers的调优

Solr的一些错误：错误日志： Error opening new searcher. exceeded limit of maxWarmingSearchers=X, try again later. 警告日志：PERFORMANCE WARNING: Overlapping onDeckSearchers=X 首先先下看collection下conf目录下的solrcon...

2018-09-19 16:02:38 1918

原创 JAVA爬虫框架WebMagic爬取ajax请求的页面数据

查看WebMagic文档：http://webmagic.io/docs/zh/posts/ch1-overview/ 爬取网址需要翻墙： https://www.reddit.com/r/funny/ 首先分析页面，随着我们拉下滚动条，XHR标签下面包含含有ajax的异步请求，需要靠经验来找，一般会有分页参数和关键词参数。点击上面画圈的一个...

2018-09-17 11:12:23 9650 5

原创 Apache Kylin 的介绍

Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。架构图：Kylin能做什么?为什么要用Kylin?可扩展超快OLAP引擎: Kylin是为减少在Hadoop/Spark上百亿规模数据查询延迟而设计 H...

2018-09-08 11:31:54 542

原创 Solr踩坑系列：日志文件

我们在部署solr集群的时候，需要在服务器/userdata/solr-cloud/tomcat-solr01/webapps/solr/WEB-INF/classes目录中增加log4j.properties日志，而这个log4j.properties在/userdata/solr-cloud/solr-6.6.4/server/resources中，默认的配置如下此时，你一...

2018-09-07 11:38:16 2632

原创 Linux之yum仓库配置

1 概述YUM（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软件包，无须繁琐地一次次下载、安装。在Linux上使用源码的方式安装软件非常满分，使用yum可以简化安装的过程2 y...

2018-09-06 16:09:45 45282 1

原创 Linux基础之Shell编程

1 概述Shell是一个命令行解释器，它为用户提供了一个向Linux内核发送请求以便运行程序的界面系统级程序，用户可以用Shell来启动、挂起、停止甚至是编写一些程序Shell还是一个功能相当强大的编程语言，易编写、易调试、灵活性强。Shell是解释执行的脚本语言，在Shell中可以调用Linux系统命令。2 shell脚本的执行方式1）echo输出命令（1）基本语法：ec...

2018-09-06 10:42:26 166

that summer