2015年12月_Wang_Zhenwei

12月 11月 10月 09月 08月 07月

转载 Spring学习6_Spring MVC与mybatis学习-----执行路程详解

Spring MVC学习重点就是学会其基本的处理数据的流程，明白它的架构然后往里面填充代码。以下为基本Spring MVC架构的格式：Controller类、Service类、Dao类、Mapper.xml、POJO对象类整体流程如下：Controller类---（调用）--- Service类---（调用）--- Dao类---（调用/映射）--- Mapper.

2015-12-31 14:57:22 568

转载 Spring学习5_ Spring MVC与mybatis学习-----参数配置文件说明

springmvc.xml：扫描注入器，即扫描自己的处理器的包；以及视图解析（即通过处理器返回来的值通过加上前后后缀来进行转向）Controller：为handller即处理一些函数：就是处理界面传递过来的操作利用这里面自己注入的函数来处理，处理完后将结果返回结果给视图解析器@RequestMapping：可以修饰方法，还可以修饰类；通过@RequestMapping 将请

2015-12-31 14:35:13 579

转载 Spring学习4_DispatcherServlet详解

3.1、DispatcherServlet作用DispatcherServlet是前端控制器设计模式的实现，提供Spring Web MVC的集中访问点，而且负责职责的分派，而且与Spring IoC容器无缝集成，从而可以获得Spring的所有好处。具体请参考第二章的图2-1。 DispatcherServlet主要用作职责调度工作，本身主要用于控制流程，主要职责如下：1、文件上

2015-12-31 10:27:33 484

原创 ElasticSearch学习8_在elasticsearch.yml中设置gateway.expected_nodes控制集群数据恢复

默认情况下，gateway.expected_nodes是被注释掉的，显示如下：#gateway.expected_nodes: 2集群中现在有4台机器，每次启动时，机器间都会互相拷贝数据，影响了稳定和性能，现在将gateway.expected_nodes修改如下：gateway.expected_nodes: 4表示4个节点启动后，会进行数据恢复工作。当启动3个节点后，

2015-12-30 09:45:44 2637

转载 Spring学习3_Spring 注释 @Autowired 和@Resource 的区别

Spring 注释 @Autowired 和@Resource 的区别一、@Autowired和@Resource都可以用来装配bean，都可以写在字段上，或者方法上。二、@Autowired属于Spring的；@Resource为JSR-250标准的注释，属于J2EE的。三、@Autowired默认按类型装配，默认情况下必须要求

2015-12-29 13:59:21 496

转载 Spring学习2_springmvc常用注解之@Controller和@RequestMapping

对于各种注解而言，排第一的当然是“@Controller”,表明某类是一个controller。“@RequestMapping”请求路径映射，如果标注在某个controller的类级别上，则表明访问此类路径下的方法都要加上其配置的路径；最常用是标注在方法上，表明哪个具体的方法来接受处理某次请求。?123456

2015-12-29 10:52:13 495

转载 Spring学习1_Spring注解@Component、@Repository、@Service、@Controller区别

很长时间没做web项目都把以前学的那点框架知识忘光了，今天把以前做的一个项目翻出来看一下发现用@Component标记一个组件，而网上有的用@Service标记组件，我晕就查了一下资料：Spring 2.5 中除了提供 @Component 注释外，还定义了几个拥有特殊语义的注释，它们分别是：@Repository、@Service 和 @Controller。在目前的 Spring

2015-12-29 10:06:56 473

转载 CentOS学习11_CentOS下清理swap和buffer/cache

swap清理：swapoff -a && swapon -a注意：这样清理有个前提条件，空闲的内存必须比已经使用的swap空间大cache清理：sync; sync; sync;&& echo3 >/proc/sys/vm/drop_cachessleep 2echo 0>/proc/sys/vm/drop_cachesTo free pag

2015-12-25 16:19:53 2738

原创 Network学习3_CentOS系统下向/etc/sysconfig/network-scripts/目录添加ifcfg-Auto_em1来配置网络连接

CentOS启动后，进行网络配置，因为一些误操作，导致em1和em2重启后同时连接，影响机器与其他主机的通信。查看/etc/sysconfig/network-scripts/目录，发现只有ifcfg-lo文件，选择添加一个新的ifcfg-Auto_em1进行配置，文件内容如下：TYPE=EthernetBOOTPROTO=noneIPADDR=10.10.16.3PREFIX=

2015-12-25 11:10:04 3321

转载 Linux学习26_每天一个linux命令（44）：top命令

top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。下面详细介绍它的使用方法。top是一个动态显示过程,即可以通过用户按键来不断刷新当前状态.如果在前台执行该命令,它将独占前台,直到用户终止该程序为止.比较准确的说,top命令提供了实时的对系统处理器的状态监视.它将显示系统中CPU最“敏感”的任务列表.该命令可以按CPU使用.内存

2015-12-24 15:01:40 514

转载 Linux学习25_每天一个linux命令（45）：free 命令

free命令可以显示Linux系统中空闲的、已用的物理内存及swap内存,及被内核使用的buffer。在Linux系统监控的工具中，free命令是最经常使用的命令之一。1．命令格式：free [参数]2．命令功能：free 命令显示系统使用和空闲的内存情况，包括物理内存、交互区内存(swap)和内核缓冲区内存。共享内存将被忽略3．命令参数：-b 　以

2015-12-24 14:43:50 413

转载 ElasticSearch学习7_elasticsearch配置小记

0x01 内存调整调整ES内存分配有多种方式,建议调整 /etc/sysconfig/elasticsearch 中的设置(还可以直接修改bin下的启动脚本).# Directory where the Elasticsearch binary distribution residesES_HOME=/usr/share/elasticsearch# Heap Size

2015-12-23 11:32:12 4995

转载 ElasticSearch学习6_从[FIELDDATA]Data too large错误看FieldData配置

1. 产生Data too large异常今早运行查询时，ES返回了如下报错：{ "error": "... CircuitBreakingException[[FIELDDATA] Data too large, data for [proccessDate] would be larger than limit of [10307921510/9.5gb]]; }]",

2015-12-23 11:29:45 4511

转载 Kibana学习2_geohash算法原理及实现方式

geohash算法原理及实现方式1、geohash特点2、geohash原理3、geohash的php 、python、java、C#实现代码4、观点讨论geohash有以下几个特点：首先，geohash用一个字符串表示经度和纬度两个坐标。某些情况下无法在两列上同时应用索引（例如MySQL 4之前的版本，Google App Engine的数据层等），利用geoh

2015-12-22 14:02:39 1735

转载 [Elasticsearch] 全文搜索

[Elasticsearch] 全文搜索 (一) - 基础概念和match查询现在我们已经讨论了搜索结构化数据的一些简单用例，是时候开始探索全文搜索了 - 如何在全文字段中搜索来找到最相关的文档。对于全文搜索而言，最重要的两个方面是：相关度(Relevance)查询的结果按照它们对查询本身的相关度进行排序的能力，相关度可以通过TF/IDF，参见什么是相关度，地理

2015-12-22 10:00:13 1420

转载 ELK学习10_ELK系列--实时日志分析系统ELK 部署与运行中的问题汇总

前记：去年测试了ELK，今年测试了Storm，最终因为Storm需要过多开发介入而放弃，选择了ELK。感谢互联网上各路大神，目前总算是正常运行了。logstash+elasticsearch+kibana的搭建参考：http://wsgzao.github.io/post/elk/。由于搭建过程比较简单就不赘述，主要分享几个坑。正文：1、日志如何获取

2015-12-21 14:50:06 3700 2

转载 ElasticSearch学习5_一些国外优秀的elasticsearch使用案例

Github“Github使用Elasticsearch搜索20TB的数据，包括13亿的文件和1300亿行的代码”这个不用介绍了吧，码农们都懂的，Github在2013年1月升级了他们的代码搜索，由solr转为elasticsearch，目前集群规模为26个索引存储节点和8个客户端节点（负责处理搜索请求），详情请看官方博客https://github.com/blog/1381

2015-12-18 20:43:54 1899

原创 ElasticSearch学习4_利用ES的head插件关停节点

ES集群搭建完成后，因为一些情况，某个机器要被会被移出集群，不再使用，直接物理移出后，在ES的head插件中还是可以看到这台机器，可以使用此机器节点下的“动作”按钮，彻底移除机器。动作按钮的位置如下图所示：点击关停键，按照提示操作，就可以在集群中移出这台机器。

2015-12-18 13:29:38 3521

转载 Network学习2_TCP/UDP常见端口

著名端口端口号码 / 层名称注释1tcpmuxTCP 端口服务多路复用5rje远程作业入口7echoEcho 服务9discard用于连接测试的空服务11systat用于列举连接了的端口的系统状态

2015-12-14 13:56:15 1436

原创 ELK学习9_ELK数据流传输过程_问题总结2

目的：使用Java程序把一个.csv文件发送给Kafka，再发送给ELK实验步骤：见以前的博客遇到的问题：一、直接发送比较大的.csv文件，ELK接到的汉字内容是乱码的发送比较小的.csv文件，ELK接到的汉字内容正常猜测：是否是Kafka出错二、把大的.csv文件拆分成多个小.csv文件发送，发送过程中，会不定期报错报错内容如下[2015-12-1

2015-12-13 19:06:26 1565

转载分布式搜索Elasticsearch——配置

配置文件位于%ES_HOME%/config/elasticsearch.yml文件中，用Editplus打开它，你便可以进行配置。所有的配置都可以使用环境变量，例如：node.rack: ${RACK_ENV_VAR} 表示环境变量中有一个RACK_ENV_VAR变量。下面列举一下elasticsearch的可配置项：

2015-12-08 19:49:34 541

原创 Kibana学习1_Elasticsearch is still initializing the kibana index错误解决

问题描述：When I am trying to start Kibana I am facing the following issue. I first restarted my elasticsearch server it was running successfully. After starting Elasticsearch I tried to start Kibana

2015-12-08 18:02:38 9987

转载 Kafka学习8_kafka java 生产消费程序demo示例

kafka是吞吐量巨大的一个消息系统，它是用scala写的，和普通的消息的生产消费还有所不同，写了个demo程序供大家参考。kafka的安装请参考官方文档。首先我们需要新建一个maven项目，然后在pom中引用kafka jar包，引用依赖如下：?12345dependency> gr

2015-12-08 10:18:50 1196

原创 Kafka学习7_使用log.retention.hours改变消息端的消息保存时间

数据存储的最大时间超过这个时间会根据log.cleanup.policy设置的策略处理数据，也就是消费端能够多久去消费数据log.retention.bytes和log.retention.hours任意一个达到要求，都会执行删除，会被topic创建时的指定参数覆盖。在server.properties里设置log.retention.hours=1启动Kafka后，新建一个终

2015-12-08 08:58:12 14526 2

转载 Kafka学习6_关于Kafka 的消息日志Offset 的了解

之前在做Kafka 整合Storm的时候，因为对Kafka 不是很熟，考虑过这样的一个场景问题，针对一个Topic,Kafka消息日志中有个offset信息来标注消息的位置，Storm每次从kafka 消费数据，都是通过zookeeper存储的数据offset，来判断需要获取消息在消息日志里的起始位置。那么我们想，这个Offset 是消息在日志里是一个什么样的位置，是绝对位置还是相

2015-12-07 21:15:19 2429

转载 Kafka学习5_server.properties系统配置说明

通常而言我们的kafka的配置如下所示：?12345678910111213141516broker.id=0num.network.threads=2num.io.threads=8socket

2015-12-07 20:48:32 863

转载 ElasticSearch学习4_把 ElasticSearch 当成是 NoSQL 数据库

英文原文：Elasticsearch as a NoSQL DatabaseElasticsearch 可以被当成一个 "NoSQL"-数据库来使用么? NoSQL 意味着在不同的环境下存在不同的东西, 而erestingly 它并不是真的跟 SQL 有啥关系. 我们开始只会觉得 "可能"而已, 所以细细研究了 Elasticsearch 的各种属性，包括它已经为了成就最具灵活性，

2015-12-04 16:56:52 1434

转载 elasticsearch 口水篇（1）安装、插件

一）安装elasticsearch1）下载elasticsearch-0.90.10，解压，运行\bin\elasticsearch.bat （windwos）2）进入http://localhost:9200/ 如下图安装成功！二）插件——headelasticsearch-head是一个elasticsearch的集群管理工具，它是完全

2015-12-02 20:19:38 832

转载 ElasticSearch学习3_elasticsearch集群管理工具head插件

elasticsearch-head是一个elasticsearch的集群管理工具，它是完全由html5编写的独立网页程序，你可以通过插件把它集成到es插件安装方法1：1.elasticsearch/bin/plugin -install mobz/elasticsearch-head2.运行es3.打开http://localhost:9200/_plugin/h

2015-12-02 20:17:18 776