2017年03月_fengxu511

04月 03月

转载 linux下安装mysql5.7.17及简单配置

1.mysql5.7.17安装在/usr/local/mysql目录里面，也可以安装在其他地方（安装包最好与Linux系统一样，eg;32位的就是“mysql-5.7.17-linux-glibc2.5-i686.tar.gz”，官网可下载） mkdir /usr/local/MySQL 2.解压并复制 tar -xvf mysql-5.7.17-linux-glibc2.

2017-03-15 13:17:31 931

转载远程连接linux下的mysql Err1045 Err2003解决办法

linux系统 Centos7 1.Err2003 我个人的情况是因为linux中防火墙开启并阻止了3306这个mysql端口的远程连接解决办法： CentOS 7.0默认使用的是firewall作为防火墙，现在要将其关闭 systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service

2017-03-15 13:14:07 915

转载 Linux安装Maven

1.下载maven http://maven.apache.org/download.cgi 2.解压 tar xzvf apache-maven-3.1.0.tar.gz 3.配置环境变量 sudo gedit /etc/profile export MAVEN_HOME=/usr/local/devtools/apache-maven-3.1.0 export PATH=$

2017-03-15 13:13:05 281

转载 Linux 查看服务器开放的端口号

端口相关的概念：在网络技术中，端口（Port）包括逻辑端口和物理端口两种类型。物理端口指的是物理存在的端口，如ADSL Modem、集线器、交换机、路由器上用于连接其他网络设备的接口，如RJ-45端口、SC端口等等。逻辑端口是指逻辑意义上用于区分服务的端口，如TCP/IP协议中的服务端口，端口号的范围从0到65535，比如用于浏览网页服务的80端口，用于FTP服务的21端口等。由

2017-03-14 23:21:30 5599

转载基于java社会化海量数据采集爬虫框架搭建（附代码）

基于java社会化海量数据采集爬虫框架搭建（附代码）小数点2014-10-31 9:49:08大数据技术评论(2) 随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作

2017-03-13 10:09:46 2890

转载 HttpClient和HtmlUnit

大家在做爬虫、网页采集、通过网页自动写入数据时基本上都接触过这两个组件（权且称之为组件吧），网上入门资料已经很多了，我想从实际的应用角度谈谈我对于这两个组件的看法，并记录在博客中，以便日后翻阅，欢迎大家批评指正。本文主要比较两者的优劣性以及介绍应用中的使用技巧，推荐一些入门资料以及非常实用的辅助工具，希望能对大家有所帮助。大家有任何疑问或者建议希望留言给我，

2017-03-11 22:18:17 680

转载爬虫简单了解

爬虫系统简单介绍爬虫所包括的组件下载组件解析组件持久化组件去重组件下载组件请求http地址，下载网页内容，Java支持原生的url方式请求http请求 HttpClient ：apache开源的http请求的组件 htmlunit :一个模拟浏览器的开源的java 页面分析工具，结合URLconnetion和httpClient两种请求方式。 okhttp :

2017-03-11 22:07:35 315