网站性能
eniluzt
http://www.enilu.cn
展开
-
手把手写个爬取it博客的网站-需求分析
陆陆续续折腾一周的网站上线了,地址在这里http://itblog.enilu.cn这个网站主要汇聚了一些优秀的IT类博客的文章索引,用户在这里就可以看到全网很多大牛和牛X团队的技术博客,可谓干货满满。针对这个网站的实现过程,分为8篇文章分别说明:0.手把手写个爬取IT博客的网站-提纲1.手把手写个爬取IT博客的网站-需求分析2.手把手写个爬取IT博客的网站-技术选型3.手把手写个爬取...原创 2018-07-25 18:59:35 · 633 阅读 · 0 评论 -
手把手写个爬取it博客的网站
陆陆续续折腾一周的网站上线了,地址在这里http://itblog.enilu.cn这个网站主要汇聚了一些优秀的IT类博客的文章索引,用户在这里就可以看到全网很多大牛和牛X团队的技术博客,可谓干货满满。 后续会继续添加新发现的牛人博客本篇是概览,接下来会花费以下几篇来一步步说明如何实现这个网站,提纲先列在这里,后面会根据实际情况略作调整:0.手把手写个爬取IT博客的网站-提纲1.手把手...原创 2018-07-25 18:53:38 · 285 阅读 · 0 评论 -
数据抓取之性能优化第一弹
数据抓取本身流程很简单,但是当遇到网站的种类变多或者要采集的数据变多的时候,性能问题会称为数据抓取中要首要解决的问题。 这几天同事在测试采集数据的时候总是遇到反应很慢的情况。今晚趁着洗完澡脑子清醒,针对部分问题重构了下;做下记录。这次遇到的问题主要是代理的问题,场景是这样的:我有100个代理,系统初始化的时候,我把这100个代理中放到一个队列(ArrayBlockingQueue)中。然后平原创 2015-12-24 09:07:53 · 867 阅读 · 0 评论 -
通过统计nginx访问日志禁止恶意抓取数据的实现
nginx默认会记录客户端访问服务端的日志,默认的目录位于:/var/logs/access.log;业务需求:每小时读取access.log内容,统计每个ipd访问系统次数,如果超过指定次数,则将该ip加入到防火墙中,以便禁止其继续访问(后续可以考虑不是禁止其访问服务,而是重定向到指定的页面)。这样避免别人恶意从自己网站上抓取数据原创 2014-09-25 18:02:32 · 1056 阅读 · 0 评论 -
Redis.3.0.5集群安装详解
之前写过一个redis的入门教程, 这次来用redis进行集群的安装配置。Redis集群介绍Redis 集群是一个提供在多个Redis间节点间共享数据的程序集.Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不原创 2015-11-29 12:01:20 · 682 阅读 · 0 评论 -
mysql主从配置
mysql主从配置版本:mysql5.6os:centos6.5主服务器:(192.168.1.1),从服务器:(192.168.1.2)配置主服务器修改/etc/my.cnf文件 在[mysqld]下面增加:server-id=1log-bin=mysqlmaster-bin.logsync_binlog=1innodb_buffer_pool_size=8192M #建议配置为内转载 2015-06-29 18:50:01 · 423 阅读 · 0 评论 -
CentOS配置bond ip冗余
Bonding的模式一共有7种:#defineBOND_MODE_ROUNDROBIN 0 (balance-rr模式)网卡的负载均衡模式#defineBOND_MODE_ACTIVEBACKUP 1 (active-backup模式)网卡的容错模式#defineBOND_MODE_XOR 2 (balance-xor模式)需要转载 2015-06-14 21:48:04 · 1947 阅读 · 0 评论 -
MySQL主从复制(Master-Slave)与读写分离(MySQL-Proxy)实践
一,主从配置 1、安装两台mysql192.168.231.135 (主)192.168.231.136(从)2、修改主服务器master: #vi /etc/my.cnf (如果不存在就去/usr/share/mysql/目录下拷贝一个过来,my-small.cnf够用了) [mysqld] log-bin=mysql-bin转载 2015-01-22 18:13:18 · 527 阅读 · 0 评论 -
手把手写个爬取it博客的网站-技术选型
陆陆续续折腾一周的网站上线了,地址在这里http://itblog.enilu.cn这个网站主要汇聚了一些优秀的IT类博客的文章索引,用户在这里就可以看到全网很多大牛和牛X团队的技术博客,可谓干货满满。针对这个网站的实现过程,分为8篇文章分别说明:0.手把手写个爬取IT博客的网站-提纲1.手把手写个爬取IT博客的网站-需求分析2.手把手写个爬取IT博客的网站-技术选型3.手把手写个爬取...原创 2018-07-27 16:24:41 · 426 阅读 · 0 评论