- 博客(14)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Jsoup的用法案例
1、已知网页文件所在的目录，简单解析网页的方法File input = new File("E:\\Jsoup.html");Document doc = Jsoup.parse(input, "UTF-8", "http://www.iie.ac.cn/"); Elements aContents = doc.select("a"); for(Element aConten
2016-04-29 19:27:34
433
原创 通配符与正则表达式
通配符与正则表达式很容易混淆，首先要明白二者是不同的，个人感觉通配符用于Linux的shell命令（如文件名相关操作）中，而正则表达式用于文本内容中的字符串搜索和替换等。通配符是Linux系统本身就支持的，而正则表达式用于vim编辑器或awk程序，这些文本处理工具正是由于支持正则表达式才变得强大。通配符[a-z]或[12]：匹配方括号中指定范围内的单个字符或方括号列出的其中一个字符
2016-04-28 21:04:51
511
原创 hive命令的几点整理
1、我们可以一些命令，例如sql语句放在文本文件中，然后通过source关键词去调用执行这些命令例如，文本文件所在的目录是：/home/hadoop/xuguokun/test.txt然后执行下面的命令：hive> source /home/hadoop/xuguokun/test.txt最终得到如下的执行结果：hive> source /home/hadoop/xug
2016-04-27 19:31:27
1466
原创 hive在执行任务的时候提示java.io.FileNotFoundException: File does not exist: hdfs://Master:9000/usr/local/apach
1、错误信息Number of reduce tasks determined at compile time: 1In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer=In order to limit the maximum num
2016-04-27 18:33:48
18387
7
转载 map和reduce 个数的设定 （Hive优化）经典
一、 控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2. 举例： a) 假设input目录下有
2016-04-25 20:31:19
448
原创 WebSocket与SpringMVC集成案例
1、相关配置文件：1）web.xml的配置内容如下： contextConfigLocation classpath:conf/spring.xml; webAppRootKey springmvc.root springMVC-web org.springframework.web.
2016-04-23 16:50:34
7471
2
原创 WebSocket至HelloWorld
1、基本环境：JDK-1.8.71、Tomcat：apache-tomcat-8.0.332、客户端代码：<%String path = request.getContextPath();String basePath = request.getScheme()+"://"+request.getServerName()+":"+request.getServerPort()+pat
2016-04-23 15:34:02
2432
转载 Websocket协议数据帧传输和关闭连接
一、数据帧格式 数据传输使用的是一系列数据帧，出于安全考虑和避免网络截获，客户端发送的数据帧必须进行掩码处理后才能发送到服务器，不论是否是在TLS安全协议上都要进行掩码处理。服务器如果没有收到掩码处理的数据帧时应该关闭连接，发送一个1002的状态码。服务器不能将发送到客户端的数据进行掩码处理，如果客户端收到掩码处理的数据帧必须关闭连接。 基本的数据帧为一个opcode、一个pa
2016-04-23 09:40:57
1660
原创 es的几个重要接口的应用
一、全文的模糊查询（任何字段中很有"get"z字符串都认为是匹配）1、测试数据1,name,get,name2,hget,age,name3,name,age,hgethgeth,name,age,name5,name,age,name2、测试代码package com.query.dsl;import java.text.ParseException;i
2016-04-22 14:11:18
3682
1
转载 websocket
偶然在知乎上看到一篇回帖，瞬间觉得之前看的那么多资料都不及这一篇回帖让我对websocket 的认识深刻有木有。所以转到我博客里，分享一下。比较喜欢看这种博客，读起来很轻松，不枯燥，没有布道师的阵仗，纯粹为分享。废话这么多了，最后再赞一个~一、websocket与httpWebSocket是html5出的东西（协议），也就是说HTTP协议没有变化，或者说没关系，但HTTP是不支持持久连
2016-04-21 20:51:01
792
转载 Hadoop安装遇到的各种异常及解决办法
异常一:2014-03-13 11:10:23,665 INFO org.apache.Hadoop.ipc.Client: Retrying connect to server: Linux-hadoop-38/10.10.208.38:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFi
2016-04-14 17:11:10
1763
转载 搜索引擎爬虫工作原理-大揭秘
搜索引擎的处理对象是互联网网页，日前网页数量以百亿计，所以搜索引擎首先面临的问题就是：如何能够设计出高效的下载系统，以将如此海量的网页数据传送到本地，在本地形成互联网网页的镜像备份。网络爬虫即起此作用，它是搜索引擎系统中很关键也根基础的构件。这里主要介绍与网络爬虫相关的技术，尽管爬虫技术经过几十年的发展，从整体框架上已相对成熟，但随着联网的不断发展，也面临着一些有挑战性的新问题。下
2016-04-11 09:11:01
502
原创 MySql远程不能登录问题解决办法
安装完MySQL后，远程连接数据库的时候，出现 ERROR 1130 (HY000): Host '192.168.0.1' is not allowed to connect to this MySQL server提示信息，不能远程连接数据库。考虑可能是因为系统数据库mysql中user表中的host是localhost的原因，于是，我尝试把这个值改为自己服务器的ip，果然就好用了，不过用
2016-04-08 16:11:45
415
转载 mongodb与mysql相比的优缺点
与关系型数据库相比，MongoDB的优点：①弱一致性（最终一致），更能保证用户的访问速度：举例来说，在传统的关系型数据库中，一个COUNT类型的操作会锁定数据集，这样可以保证得到“当前”情况下的精确值。这在某些情况下，例 如通过ATM查看账户信息的时候很重要，但对于Wordnik来说，数据是不断更新和增长的，这种“精确”的保证几乎没有任何意义，反而会产生很大的延 迟。他们需要的是一个“大约
2016-04-07 16:05:56
412
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人