网络
文章平均质量分 61
a925907195
best
展开
-
docker 镜像 退出 保存_Docker保存修改后的镜像
csdn以后不再发表个人文章了,没底线转载 2022-01-29 17:22:32 · 1574 阅读 · 0 评论 -
ip地址分类及预留ip地址大全
网络IP地址是由32位二进制数组而,并且在互联网的范围内该地址唯一。为了方便管理员布置内网,而预留下了一些特殊的IP地址不在互联网上分配。下面就让我们来看一下这些IP地址有什么作用。一、127.0.0.1127是一个保留地址,该地址是指电脑本身,主要作用是预留下作为测试使用,用于网络软件测试以及本地机进程间通信。在Windows系统下,该地址还有 一个别名叫 “localhost”原创 2014-11-13 22:59:26 · 5309 阅读 · 0 评论 -
关于TCP/IP的三次握手和四次挥手解释
TCP协议三次握手过程分析TCP(Transmission Control Protocol) 传输控制协议TCP是主机对主机层的传输控制协议,提供可靠的连接服务,采用三次握手确认建立一个连接:位码即tcp标志位,有6种标示:SYN(synchronous建立联机) ACK(acknowledgement 确认) PSH(push传送) FIN(finish结束) RST(rese转载 2014-12-07 17:49:11 · 714 阅读 · 0 评论 -
IK分词源码讲解(三)-分词歧义处理(智能分词)
分词的歧义处理是IK分词的一个重要的核心模块,主要使用组合遍历的方式进行处理。从子分词器中取出不相交的分词集合,例如分词结果为abcd(abcd代表词),abcd是按其在文本中出现的位置排序的,从前到后。假如a与b相交,b与c相交,c与d不相交,则将分词结果切成abc和d两个块分别处理当在分词的时候使用的是智能分词,那么便从相交的块中选出最优的结果,这个由judge方法来进行处理/**原创 2014-12-09 17:25:45 · 7056 阅读 · 0 评论 -
IK分词源码讲解(四)-停用词处理
对于停用词以及未切分的词的处理方法:过滤掉CHAR_USELESS字符,包括标点以及无法识别的字符,pathMap中存储的是lexemePath集合,找出相邻的lexemePath,把它们之间未切分的字符逐字符输出,原来的ik源码里面有processUnkownCJKChar(),在IK2012中,这个方法被合并到了outputToResult(), //对分词进行歧义处理原创 2014-12-09 17:26:38 · 4227 阅读 · 0 评论 -
IK分词源码讲解(二)-分词器
IK里的分词器主要是三个分词器:CJKSegmenter(中文分词),CN_QuantifierSegmenter(数量词分词),LetterSegmenter(字母分词)。这三个分词器都继承了ISegmenter接口,思路相差不大,其中采用的结构也比较容易理解,采用字典树(CJK使用)或其他简单数据结构(CN_QuantifierSegmenter和LetterSegmenter)匹配文本中的当原创 2014-12-09 17:23:56 · 4594 阅读 · 0 评论 -
IK分词源码讲解(五)-ik配置及在Solr中的配置使用
在solr中配置使用IK很简单下载最新的Ik2012中文分词器。 2.解压IK Analyzer 2012FF_hf1.zip,获得IK Analyzer 2012FF_hf1.将该目录下的IKAnalyzer.cfg.xml,IKAnalyzer2012FF_u1.jar,stopword.dic放到安装TOMCAT_HOME/webapps/solr/WEB-INF/class原创 2014-12-09 17:27:19 · 5439 阅读 · 2 评论 -
利用ubuntu12.04搭建高可用的hadoop集群
利用ubuntu12.04搭建高可用的hadoop集群1、集群部署介绍1.1 Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,HadoopDistributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础原创 2014-11-15 13:29:45 · 916 阅读 · 0 评论 -
数据抓取中post与get方式的处理深入理解(不用给网页标签赋值也不用模拟提交js)
其实对于网页抓取的时候,我们会遇到很多问题,比如说js需要触发的问题,还有模拟提交什么的,而网页响应请求其实就post跟get方式,从这个思路走,那还有什么问题是难的呢?将需要解析的网页通过http解析抓包工具比如httpanalyzer进行分析,那么通过分析提交跟返回的信息,我们便可以知道在这次的请求中到底是做了哪些处理做了哪些请求,每次请求提交的数据是什么,cookie是什么,还有原创 2015-04-10 19:54:09 · 2520 阅读 · 0 评论 -
TCP/IP三次握手与四次挥手
一、TCP报文格式 TCP/IP协议的详细信息参看《TCP/IP协议详解》三卷本。下面是TCP报文格式图:图1 TCP报文格式 上图中有几个字段需要重点介绍下: (1)序号:Seq序号,占32位,用来标识从TCP源端向目的端发送的字节流,发起方发送数据时对此进行标记。 (2)确认序号:Ack序号,占32位,只有AC转载 2014-12-07 20:30:18 · 666 阅读 · 0 评论 -
OSI七层模型详解
OSI 七层模型通过七个层次化的结构模型使不同的系统不同的网络之间实现可靠的通讯,因此其最主要的功能就是帮助不同类型的主机实现数据传输 。完成中继功能的节点通常称为中继系统。在OSI七层模型中,处于不同层的中继系统具有不同的名称。 一个设备工作在哪一层,关键看它工作时利用哪一层的数据头部信息。网桥工作时,是以MAC头部来决定转发端口的,因此显然它是数据链路层的设备。转载 2014-12-07 11:21:07 · 643 阅读 · 0 评论 -
ermission denied: user=root, access=WRITE, inode="hadoop":hadoop:supergroup:rwxr-xr-x
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="hadoop":hadoop:supergroup:rwxr-xr-x原创 2014-11-14 23:19:54 · 8225 阅读 · 0 评论 -
hadoop安全模式
hadoop安全模式在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示转载 2014-11-14 21:00:05 · 662 阅读 · 0 评论 -
MasterNotRunningException异常,list、get等不能正常执行
当在hbase shell下创建表时,出现MasterNotRunningException异常,list、get等不能正常执行,通过Java API同样不能创建表,究其原因在于分布式文件系统处于安全模式状态下,执行 hadoop dfsadmin -safemode leave,重新启动hbase,问题即可解决。 那么,问题又来了,Hadoop分布式文件系统为什么不自动退出安全模式呢?转载 2014-11-14 13:47:20 · 734 阅读 · 0 评论 -
hadoop2.X如何将namenode与SecondaryNameNode分开配置
本帖最后由 pig2 于 2014-6-17 19:54 编辑问题导读1.如何将namenode与SecondaryNameNode分开?2.SecondaryNameNode单独配置,需要修改那些配置文件?3.masters文件的作用是什么?我们这里假设你已经安装配置了hadoop2.2,至于如何配置可以参考,hadoop2.2完全分布式最转载 2014-11-14 22:24:35 · 11901 阅读 · 1 评论 -
hbase做简单操作练习示例
package HBaseTests;import java.io.IOException;import java.util.ArrayList;import java.util.List; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguratio原创 2014-11-14 23:48:56 · 714 阅读 · 0 评论 -
HBase 在Ubuntu12.04下的安装 以及遇到问题解决
HBase安装 hadoop集群:hadoop1.1.2master 192.168.1.161slave01 192.168.1.163slave02 192.168.1.164slave03 192.168.1.165slave04 192.168.1.166 hbase版本: hbase0.94 1、修改hadoop hdfs-sit原创 2014-11-14 13:51:25 · 1215 阅读 · 0 评论 -
Zookeeper在Ubuntu12.04中的安装
一、安装需求安装java 1.7.25及hadoop 1.20.x 二、安装zookeeper1、下载zookeeperwget http://mirror.bit.edu.cn/apache//zookeeper/zookeeper-3.4.2/zookeeper-3.4.2.tar.gz(本次安装3.4.2版本)其他版本下载地址(最好使用stable版本):http:/原创 2014-11-14 00:43:56 · 685 阅读 · 0 评论 -
SolrCloud 4.7+Tomcat 安装配置实践
SolrCloud 4.7+Tomcat 安装配置实践 SolrCloud 4.3.1+Tomcat 7安装配置实践我们使用Solr Replication可以实现Solr服务器的可用性,即使某一个索引副本由于磁盘介质故障或者误操作删除等,其他的多个复制副本仍然可以提供服务。如果只是单纯的基于Solr Replication技术,只能对一个索引进行管理维护,当索引数据达到一定规模,搜索的性原创 2014-11-14 15:02:14 · 1363 阅读 · 0 评论 -
对于solrcloud节点删除后,依然在页面显示问题
因为在创建solrcloud的节点后,配置文件会传入Zookeeper中进行统一的原创 2014-11-14 15:19:50 · 3190 阅读 · 0 评论 -
hive在Ubuntu下的的安装和配置以及与hbase进行连接
hive的安装和配置 downloadwget http://mirror.mel.bkb.net.au/pub/apache//hive/stable/只需要在一个节点上安装 2. 把Hive移动到/usr/local/hadoop目录下并解压hadoop@ubuntu:~/下载$ mv hive-0.9.0.tar.gz /usr/local/hadoophadoo原创 2014-11-14 14:17:39 · 997 阅读 · 0 评论