张--小涛涛-CSDN博客

原创大数据（003）Hadoop-HDFS namenode的HA --- zookeeper的引出

后Namenode两大功能：1、接收客户端读写服务2、存放元数据（元数据包括fsimage和edits，其中fsimage是namenode格式化时候产生的；edits是运行中实时产生、修改的）问题一：上图中NN Active和NN Standby是两个Namenode，其中NN Active为活动的Namenode，NN Standby是备份。但是两个Nameno

2017-07-27 21:15:19 658

原创大数据（002）Hadoop安装环境搭建【安装Hadoop】

Hadoop （二）Hadoop安装环境搭建（1）一、选择Primary Namenode和Secondary Namenode Primary Namenode和Secondary Namenode关系如下图所示：图1.1 SNN（Secondary Namenode）合并流程由上图可知，Secondary Namenod

2017-07-21 01:29:59 604

原创大数据（001）Hadoop安装前准备【服务器准备、linux免密登录、linux登录慢的解决】

Hadoop安装前准备【服务器准备、linux免密登录、linux登录慢的解决】一、安装在同一个局域网内的四个虚拟机，我这里四个虚拟机ip分别为192.168.1.201 ~ 192.168.1.204。如下图二、选取第一个linux（192.168.1.201）作为启动服务器，给其配置免密码登录。步骤如下：1、在启动服务器上（192.168.1.201）上生成秘钥

2017-07-20 22:37:48 1306

原创全文检索技术 solr（003）solr安装、启动

1、将solr.war复制到tomcat的webapps目录下，启动tomcat2、关闭tomcat，删除掉tomcat的webapps目录下的solr.war3、在任意位置新建一个文件夹，并将下图文件复制进文件夹中4、打开tomcat中webapps目录下solr\WEB-INF\web.xml文件将其中被注释掉的代码段放开，并根据你刚刚建立的文件路径进行修改，如下

2017-07-16 20:55:32 354

原创全文检索技术 lucene（002）自己动手写一个搜索引擎

项目点击下载。项目源码说明【文件文件说明】1、www.bjsxt.com为模拟爬虫趴下来的某网站2、lucene为项目【部署步骤】1、自己新建两个文件夹data和index，其中data放www.bjsxt.com ， index放置索引2、将lucene导入自己的intellig idea3、将项目中indexDir和dataDir改为你的路径4

2017-07-16 19:55:44 739 3

原创全文检索技术 lucene（001）一个简单的Demo

第一次接触全文检索，那就先来实现一个简单的demo一、准备文本源和索引区要使用lucene进行全文检索，有以下几个步骤：1、针对文本源建立索引2、根据索引查询关键词。因此我们需要一个文本源和索引区。其中文本源是搜索的目标、索引区是lucene针对搜索目标所建立的索引区域。在此，我将我的文本源和索引区目录分别定义为：E:/study/data、E:/stu

2017-07-15 21:42:59 645

转载写给大数据开发初学者的话 | 附教程

原文链接：http://bigdata.evget.com/post/407.html导读：第一章：初识Hadoop第二章：更高效的WordCount第三章：把别处的数据搞到Hadoop上第四章：把Hadoop上的数据搞到别处去第五章：快一点吧，我的SQL第六章：一夫多妻制第七章：越来越多的分析任务第八章：我的数据要实时第九章：我的数据要对外第十章：牛逼高大上的机器学习经常有初

2017-07-04 16:26:52 500

原创集群技术（008）nginx1.8 -- nginx+lvs(ip欺骗)实现上下行分离

一、前言：现实中，我们使用nginx作为负载均衡，所有上行数据也要经过nginx传送至客户端。那么就存在nginx负载过大的问题。理想状态下，我们希望nginx只接受客户端传来的下行数据，上行数据的传输交给实际分流的各个服务器去完成。但这明显违反了三次握手协议，因此，我们使用lvs实现ip欺骗以达到目的。如下图所示。二、lvs概念三、

2017-07-03 22:42:43 1464

原创集群技术（007）nginx1.7 -- nginx+keepalived高可用

两台nginx服务器，分别安装keepalived，配置/etc/keepalived/keepalived.conf主从配置：主nginx修改主nginx下 /etc/keepalived/keepalived.conf文件! Configuration File forkeepalived#全局配置global_defs { notification

2017-06-22 10:35:39 373

原创集群技术（006）nginx1.6 -- 利用memcached配置session一致性，session一致性的另外一种方案tengine的会话保持功能

2017-06-22 09:31:14 739

原创集群技术（005）nginx1.5 -- nginx负载均衡后Session一致性问题之redis

2017-06-21 21:32:43 524

原创集群技术（004）nginx1.4 -- nginx负载均衡后Session一致性问题之memcached

啊啊

2017-06-21 10:11:12 549

原创从0开始做安卓/IOS拍照摄像上传APP【app+后台】【工具 eclipse+Hbuilder】

一、搭建开发环境在你的电脑上安装 eclipse hbuilder jdk tomcat ，这些步骤不再细说二、打开Hbuilder三、新建Demo项目最后点击完成。三、新建APP项目这次新建的是我们的APP四、我们可以看到，我们Hbuilder项目管理器中有两个项目其中MyAPP是我们的项目，HELLO5+只是

2017-06-20 17:27:54 5328 3

原创集群技术（003）nginx1.3 -- nginx反向代理（负载均衡）

一、反向代理概念二、配置反向代理

2017-06-20 11:13:03 431

原创集群技术（002）nginx1.2 -- nginx配置

1、vi nginx安装目录下 confg/nginx.conf其中有 worker_processes 1; 其指的是nginx的进程数，一般情况下其配置为cpu核数。2、再往下有如下配置其是日志配置，为相对路径3、再往下如图配置为进程最大连接数【注意：nginx最大并发数为进程最大连接数×进程数】4、再往下5、再往下为配置一个ht

2017-06-14 23:27:08 463

原创集群技术（001）nginx1.1 -- nginx安装

1.安装依赖yum -y install gcc openssl-devel pcre-develzlib-devel2. 将tengine-2.1.0.tar.gz文件拷贝至home目录下（可以自定义目录）3. 解压tengine-2.1.0.tar.gz文件 tar -zxvf tengine-2.1.0.tar.gz4.编译三步走进...

2017-06-14 22:14:15 446

转载 Tomcat中JVM内存溢出及合理配置

Tomcat本身不能直接在计算机上运行，需要依赖于硬件基础之上的操作系统和一个Java虚拟机。Tomcat的内存溢出本质就是JVM内存溢出，所以在本文开始时，应该先对JavaJVM有关内存方面的知识进行详细介绍。一、Java JVM内存介绍 JVM管理两种类型的内存，堆和非堆。按照官方的说法：“Java 虚拟机具有一个堆，堆是运行时数据区域，所有类实例和数组的内存均从此处分配。堆是在

2017-06-04 22:28:45 322

原创 Linux-----系统安装【四】【替换原有yum】

Linux企业版要使用yum是需要收费的，在此我们将其替换步骤如下：相关包下载地址 http://download.csdn.net/detail/h249059945/62598891、卸载掉系统redhat自带的yum rpm -qa |grep yum |xargs rpm -e --nodeps2 下载相关的centos yum插件主要有Pytho

2017-01-11 13:59:54 874

原创 Linux-----系统安装【三】【配置ip等网络信息】

当我们使用虚拟机安装好Linux时候，需要给虚拟机上的系统配置一个ip，使其在我们局域网可见操作步骤如下：1、执行命令setup后出现如下界面，选择绿色箭头选项，回车2、再次选择绿色箭头选项，回车3、再次选择绿色箭头选项，回车4、在use dhcp处空格【敲击空格use dhcp处一直会在*和空之间切换，其中*代表启用dhcp。空代表不启用。因为我们

2017-01-11 09:42:35 462

原创 Linux-----系统安装【二】【开启网卡】

刚刚安装好Linux后可能会出现如下问题：输入ifconfig，网卡信息只有lo，没有eth0解决方法：1. 进入/etc/sysconfig/network-scripts 目录，发现有ifcfg-eth0，即网卡（驱动）存在但未启用。2. 输入ifconfig -a命令，可显示eth0和lo。3. 输入ifconfig eth0 up，启用网卡。此时用ifconfig，只能

2017-01-11 09:23:57 893

翻译 Linux-----系统安装【一】【挂载点配置】

安装好Linux之后，当我们挂载光驱时候【mount /mnt/cdrom】，可能会出现如下错误mount: can't find cdrom in /etc /fstab or /etc/mtab解决方法如下：方法一：.输入命令:mount -t iso9660 /dev/cdrom /mnt/cdrom 其中/dev/cdrom为软连接指向的是hdc即是镜像文件的挂载盘这时候

2017-01-11 09:16:32 2113

转载 Bootstrap日期和时间表单组件运用兼容ie8

http://blog.csdn.net/qianqianyixiao1/article/details/42234809

2016-11-17 10:01:12 1051

转载软件需求分析的工作步骤和流程

第一阶段：总体把握，了解概况接手一个项目，不要着急去了解需求，这一阶段是和具体用户方的领导层、业务层人员的访谈式沟通，主要目的是从宏观上把握用户的具体需求方向和趋势，了解现有的组织架构、业务流程、硬件环境、软件环境、现有的运行系统等等具体情况、客观的信息。建立起良好的沟通渠道和方式。针对具体的职能部门，最好能指定本次项目的接口人。该阶段的主要工作方法：客户访谈输出成果：业

2016-11-07 17:55:14 22181

转载查看、修改oracle字符集，查看oracle版本

1、查看数据库字符集数据库服务器字符集select * from nls_database_parameters，其来源于props$，是表示数据库的字符集。　　　　客户端字符集环境select * from nls_instance_parameters,其来源于v$parameter，　　　　表示客户端的字符集的设置，可能是参数文件，环境变量或者是注册表　　　　会话

2016-10-20 17:29:07 363

转载完全卸载oracle11g步骤

完全卸载oracle11g步骤：1、开始－＞设置－＞控制面板－＞管理工具－＞服务停止所有Oracle服务。2、开始－＞程序－＞Oracle - OraHome81－＞Oracle Installation Products－＞ Universal Installer，单击“卸载产品”-“全部展开”，选中除“OraDb11g_home1”外的全部目录，删除。5、运行regedit

2016-10-20 16:23:11 370

原创 Spring和Hibernate的注解整合 hibernate3和hibernate4/5的区别

现在，ssh框架中注解的使用已经非常普遍了，在此我介绍一下spring整合hibernate注解时的配置：hibernate和spring的注解方式请网上搜索。当你分别把spring和hibernate注解配好之后。打开spring的基础配置文件中的的配置。一、当你hibernate使用的是配置文件的时候，只需要在bean'重配置如下属性即可：（这种配置hibernate3/4

2016-10-19 09:33:58 6899

转载 struts2中各个jar包作用

Struts2.3.4 所需的Jar包及介绍Jar包的分类jar包名称jar包版本jar包文件名jar包的作用jar包内包含的主要包路径及主要类依赖的自有jar包名称依赖的第三方jar包名称本jar包是否为第三方包Struts2.3.4的核

2016-10-18 09:45:46 1013

转载 java中最常用jar包的用途说明,适合初学者

jar包用途axis.jarSOAP引擎包commons-discovery-0.2.jar用来发现、查找和实现可插入式接口，提供一些一般类实例化、单件的生命周期管理的常用方法.jaxrpc.jarAxis运行所需要的组件包saaj.jar创建到端点的点到点连接的方法、创建并处理SOAP消息和附件的方法，以及接收

2016-10-18 09:44:40 604

原创 Struts中 There is no Action mapped for namespace [/] and action name []

在使用了新版Struts2.5时，之前配置的action出了错，爆出如下异常HTTP Status 404 - There is no Action mapped for namespace [/person] and action name [personAction_getPersonByID] associated with context path [/ssh].type Stat

2016-10-18 09:29:39 678

原创 SERV-U 的 FTP服务器搭建及其相关配置

当一个项目有大量文件需要交互时，我们有必要使用FTP文件服务器来对文件进行管理。在此，我简单的介绍一下SERV-U的部署及其配置。第一步：安装SERV-USERV-U的软件和破解方法在网上已经满天飞了，相信你不费吹灰之力就可以搞定他的安装了吧。第二步：打开SERV-U打开SERV-U后，我们会看到系统托盘下有下图所示的图标。双击上面的图标，进入如下界面：

2016-10-11 10:48:09 13040

原创 SSH OpenSessionInView

在使用ssh开发的项目中，hibernate的懒加载一直是让程序员很头疼的问题。当然，Spring作为一个优秀的框架已经为我们提出了解决方案，那便是大名鼎鼎的OpenSessionInView。接下来我将以一个简单的例子实现SSH的整合及OpenSessionInView。第一步：准备数据（数据库表）我是用的是mysql数据库，其中创建两张表。person和sex。建表语句

2016-10-10 15:42:15 1669

原创 SERV U 搭建FTP服务器，浏览器访问需要输入用户名密码的解决方案

SERV U 搭建FTP服务器，浏览器访问需要输入用户名密码，但是我们常常需要不输入用户名密码只读方式访问文件。首先：输入登录ID为：Anonymous下一步，不输入密码下一步选择根目录下一步只读访问完成

2016-10-09 16:00:37 8743

原创 svn 设置用户组

1、首先进入仓库中config文件夹下其中等于号右边为用户名，等于号左边为面膜2、3、

2016-08-09 21:25:43 1110

原创 window7 64位系统 svn 搭建环境注意事项

当今最为流行的两个版本控制系统无疑是svn和git了，git更加倾向于开源软件的开发，svn在一般企业中应用还是比较多的。在windows7上搭建svn服务与客户端环境首先，安装subversion和tortoiseSVN，其中subversion是服务端，tortoiseSVN是客户端1、打开cmd命令行输入：sc create SVN-Service bi

2016-08-09 20:36:26 1020

转载 mysql数据库中国地区表设计与数据插入

1.查省SELECT * FROM china WHERE china.Pid=02.查市SELECT * FROM chinaWHERE china.Pid=3300003.查区SELECT * FROM china WHERE china.Pid = 3301004.Mysql脚本[sql] view plaincopy/* Navicat MySQL Data Transf

2016-07-25 14:24:16 3935 1

原创 javaWeb 项目之 log4j1 的配置简单实例

以前敲代码都是在使用System.out.println(......);感觉太L了。学习了一下log4j1，并且进行了一个简单的项目测试，在此记录下来，以免忘记。同时也希望给刚刚入门的小伙伴提供一些经验。首先：新建JAVA WEB项目创建一个工具类和一个servlet，servlet中使用到工具类。如下图：说明：我的工具类是plus.java，我的servlet是TestLo

2016-07-21 16:55:16 2993

原创 RequestInputStream获取中文乱码

当我们获取RequestInputStream时，里面如果有中文会显示乱码，在使用request.setCharacterEncoding("UTF-8");后也无济于事我在查阅网上相关解决方案后，自己编写了一个类RequestInputStreamEncoding 里面有一个方法 public String getRequestInputStream(HttpServletRequest r

2016-02-21 22:55:20 4264

原创 java项目遇到的 java.security.InvalidKeyException:illegal Key Size 报错解决方案

在使用JCE加密时，我们有时候会遇到这样的Exception：java.security.InvalidKeyException:illegal Key Size 要解决这个报错，首先，我们需要知道其原因这是因为用到了jdk sercurity, 而jdk sercurity 使用的jar包 $JAVA_HOME/lib/security/local_policy.jar 和 $J

2016-02-19 21:02:29 7903

原创 Tomcat8.0 虚拟目录配置案例

第一步当然是创建一个文件夹作为虚拟目录，然后在虚拟目录下加入一个项目文件夹.我所创建的虚拟目录的路径为D:\Software_address\TomCat\TomCatVirtual，我在TomCatVirtual下放置了一个名为web2的文件夹作为我的项目文件夹，其中包含文件如图所示：web2.html中内容为： Hello!!! 第二步就是配置tomcat虚拟目录，将D:\

2015-12-07 20:16:27 8816 1

原创 Oracle监听器启动出错：OracleOraDb10g home1TNSListener服务启动后又停止

今天去自习室，打开电脑--->cmd--->startorcl（自己定义的启动服务脚本）,结果OracleOraDb10g_home1TNSListener服务启动后又自动停止，通过最后查阅资料才发现，原因如下：你安装oracle的时候是连网的，那么listener.ora文件里的HOST=网络给你分配的IP地址，而在你断网的时候就会出现这样的情况。继续查阅，发

2015-11-22 14:41:00 1163