- 博客(7)
- 资源 (2)
- 收藏
- 关注
原创 用Python写爬虫<1> 背景介绍
在爬取网站之前,需要对网站规模和结构了解,常常会借助网站自身的robot.txt以及Sitemap文件,还有比如外部工具:Google搜索和WHOIS。1. 检查robot.txt 该文件可以让爬虫了解爬取该网站时存在哪些限制,以及一些网站结构线索,通常如下结构 例1、禁止所有搜索引擎访问网站的任何部分User-agent: * Disallow: /例2、允许所有的r...
2018-04-24 09:03:42 4404
转载 发布dubbo服务
发布dubbo服务 Dubbo采用全Spring配置方式,透明化接入应用,对应用没有任何API侵入,只需用Spring加载Dubbo的配置即可,Dubbo基于Spring的Schema扩展进行加载。
2017-09-27 10:37:38 366
原创 Eshop(3)-dao层整合
框架整合思路ssm框架整合思路: Dao层:mybatis、spring、mybatis和spring的整合包。 Mybatis:mybatis-config.xml,文件可以为空,但是文件必须存在。 applicationContext-dao.xml:数据库连接池、SqlSessionFactory(整合包中类),配置一个包扫描器,扫描Mapper接口,生成代理对象。Service层:spr
2017-09-18 10:10:33 451
原创 Eshop(2)-alicloud zookeeper安装
在实际开发中,zookeeper都是运行在Linux系统上的,因此,我们也把zookeeper安装到Linux系统上,一般来说我们开发时用windows系统,工程开发完成之后部署在Linux系统上,因此要想有Linux环境我们就需要安装虚拟机或者云服务器,这里使用的是centOS7,阿里云Shell命令wget http://211.161.151.135/files/61380000003A0
2017-09-17 23:35:12 258
转载 zookeeper
一直对zookeeper的应用和原理比较迷糊,今天看一篇文章,讲得很通透,分享如下: 场景一 有这样一个场景:系统中有大约100w的用户,每个用户平 均有3个邮箱账号,每隔5分钟,每个邮箱账需要收取100封邮件,最多3亿份邮件需要下载到服务器中(不含附件和正文)。用20台机器划分计算的压力,从 多个不同的网路出口进行访问外网,
2017-09-17 22:51:00 253
转载 zookeeper使用
一直对zookeeper的应用和原理比较迷糊,今天看一篇文章,讲得很通透,分享如下: 场景一 有这样一个场景:系统中有大约100w的用户,每个用户平 均有3个邮箱账号,每隔5分钟,每个邮箱账需要收取100封邮件,最多3亿份邮件需要下载到服务器中(不含附件和正文)。用20台机器划分计算的压力,从 多个不同的网路出口进行访问外网,
2017-09-17 22:45:24 1341
原创 Eshop(1)
第一次写博客,为了记下学习笔记,分布式。 开发技术 项目采用Maven基于SSM架构搭建,Tomcat(Maven Tomcat Plugin),Mysql,Nginx(服务器),Redis。 以及Solr,Dubbo(f分布式),httpclient(调用系统服务)等。 开发环境 Maven-3.5.0 Tomcat-7.0.75(Maven Tomcat Plugin) JDK 1
2017-09-17 21:48:44 416
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人