一、笑话站www.budejie.com的火车头采集规则及已采集的数据sql文件
publish:July 25, 2016 -Monday 笑话网站www.budejie.com 使用火车头采集得到的数据sql文件 可以剥离其中的笑话数据库内容。
之前对百思不得姐网站进行过一次采集,包括文字段子,图片、声音、视频入mysql数据库,总共约8000来条数据,因为百思不得姐的列表页面上只会放出前100页(好像是100,我也忘了),所以通过火车头采集的话只能采集到100页的数据,不过也不少了。抓取下来的图片+视频+声音文件大约8.5G。这些太大,没法放上来。
这里分享一个火车头采集规则(导出的lgrp文件),刚刚试了一下还是可以采集的。说明不得姐还没有进行改版。下载地址可以进我的CSDN博客资源中搜索,也可以直接点击本文上方关联绑定的资源。
二、centos防火墙iptables的配置简单整理-一看就明白
publish:December 4, 2017 -Monday CentOS中防火墙程序主要是firewall和iptables,CentOS7中默认用的firewall,并且已经预装好了服务,而之前的Centos需要自己安装,一般使用iptables,iptables是一套用来设置、维护和检查Linux内核的IP包过滤规则的命令包:如下命令可以使用iptables -L -n查看当前的防火墙状态:
[root@localhost ~]# iptables -L -n
Chain INPUT (policy ACCEPT)
target prot opt source destination
ACCEPT tcp -- 0.0.0.0/0 0.0.0.0/0 tcp dpt:9399
ACCEPT tcp -- 0.0.0.0/0 0.0.0.0/0 tcp dpt:9319
ACCEPT all -- 0.0.0.0/0 0.0.0.0/0 state RELATED,ESTABLISHED
ACCEPT icmp -- 0.0.0.0/0 0.0.0.0/0
ACCEPT all -- 0.0.0.0/0 0.0.0.0/0
ACCEPT tcp -- 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:22
REJECT all -- 0.0.0.0/0 0.0.0.0/0 reject-with icmp-host-prohibited
Chain FORWARD (policy ACCEPT)
target prot opt source destination
REJECT all -- 0.0.0.0/0 0.0.0.0/0 reject-with icmp-host-prohibited
Chain OUTPUT (policy ACCEPT)
target prot opt source destination
清除iptables的所有规则命令:
iptables -F #清除预设表filter中的所有规则链的规则
iptables -X #清除预设表filter中使用者自定链中的规则
/etc/rc.d/init.d/iptables save #保存iptables设置到磁盘文件
1. [iptables里的预设规则]
可以认为是兜底的规则,即没有进行单独设置的规则都走这个配置
[root@localhost ~]# iptables -P INPUT DROP #对所有的INPUT进行拒绝
[root@localhost ~]# iptables -P OUTPUT ACCEPT #对所有的OUTPUT进行放行
[root@localhost ~]# iptables -P FORWARD DROP #对所有的FORWARD进行拒绝
2. [添加INPUT规则]:
即允许本服务器的哪些PORT请求进入,例如我们要开启8888端口.假设你上面的OUTPUT是ACCEPT的,就不需要设置OUTPUT了。
[root@localhost ~]iptables -I INPUT -p tcp --dport 8888 -j ACCEPT
#假设你上面的OUTPUT是DROP的,就还需要设置OUTPUT。
[root@localhost ~]iptables -I OUTPUT -p tcp --sport 8888 -j ACCEPT
-I:指定是INPUT还是OUTPUT处理
-p:指定涉及的协议,比如常用的tcp.
--dport:目的端口
--sport:来源端口
-j:具体操作,是ACCEPT还是DROP
关于sport和dport的数据含义:input时: dport指本地,sport指外部。output时:dport指外部,sport指本地。
上面的命令中:iptables -I INPUT -p tcp --dport 8888 -j ACCEPT 即是指定进入本地目标8888端口的tcp协议全部放行进来,
iptables -I OUTPUT -p tcp --sport 8888 -j ACCEPT 即是指定从本地来源8888端口的tcp协议全部放行出去,
也可以直接编辑iptables的配置文件:vim /etc/sysconfig/iptables,在同一条端口反复加多了规则之后,可以发现配置文件中会有重复的行,这时直接编辑配置文件比较好。最后注意:如果不使用save命令保存配置文件,则重启iptables之后增加的配置即会丢失。