奇怪的赞数
人生在世,不如意事十之八九,可与言者无二三人。幸好我们生在互联网时代,现实中找不到可以倾诉的人还可以在网络上寻找情绪宣泄口,树洞这类产品就是提供一个让人在网络上匿名倾诉的平台。
我是偶然间发现了这个平台:http://www.6our.com/,感觉自己比较惨的时候去看看别人的不如意,发现上帝还是蛮眷顾自己的(也不知道中国在不在他老人家的管辖范围内)。不过我发现了一个奇怪的现象:秘密有一个赞和踩的功能,但是我看到的秘密的赞都没有发现有低于2的,然后尝试着发了一条,发现刚发出来就有两个赞,所以我猜测网站的开发者设定了秘密发出来时候赞的数量就是2,但是作为一个死心眼的程序员,认为只有亲手证过的才是可信的,所以我要验证一下我的想法,于是用shell写了个爬虫,爬取所有秘密的赞的数量,爬虫代码如下:
#! /bin/bash
######################################################
#
#
#
# 树洞网赞数抓取
#
#
######################################################
# env
cd `dirname $0`
source utils.sh
# 初始化线程数控制,使用10个线程并发抓取以免把树洞网站打死
init_thread 250 10
# 初始化业务相关变量
url="http://www.6our.com/qiushi?&p="
total_page_num=`curl_ "${url}1" | grep -oE "<a href='/qiushi\?\&p=2480' >最后一页</a>" | grep -oE "[0-9]+"`
log "total_page_num $total_page_num"
# 开始抓取列表
for page_num in `seq 1 $total_page_num`;
do
read -u250
{
cur_page_url="${url}${page_num}"
log "url ${cur_page_url} begin"
curl_ $cur_page_url | grep -oE "id=\"yes-[0-9]+\">[0-9]+" | sed -n 's/id="yes-//; s/">/ /p' >> shudong-id-yes.data
log "url ${cur_page_url} end"
echo '' >&250
}&
done
wait
log "all done"
需要引入的公共库:
################################
#
# 工具库,用来存放一些通用的方法
#
################################
# ha! 简易的log4shell
log(){
echo "[`date +'%F %T'`] $1"
}
# 封装的线程控制器
# $1 要使用的管道
# $2 要使用的线程数
init_thread(){
pipe_num=$1
thread_num=$2
fifo_path="/tmp/fifo_path_`date +%s`_${1}_${2}"
mkfifo $fifo_path
eval "exec ${pipe_num}<>${fifo_path}"
rm $fifo_path
for i in `seq 1 $thread_num`;
do
echo '' >&${pipe_num}
done
return $pipe_num
}
# 对curl的一层封装
# 1. 伪装下U-A
# 2. 模拟浏览器持久cookie的行为
# 3. 安静模式,不显示统计信息
# $@ 会被放在最后
curl_(){
curl -s --user-agent "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36" -b cookie -c cookie $@
}
# 类似于Stream.map()的封装,使得自定义函数支持管道调用
# $1 函数名
map(){
function_name=$1
while read line
do
$function_name "$line"
done
}
看下爬下来多少条评论数据:
不到五万条,如果这五万条中没有一个点赞数小于2的,那么就说明我的猜想是正确的,好,先看下数据格式:
第一列为秘密id,第二列为此秘密的赞数,筛选出第二列为1的共有多少条:
这…这…这就尴尬了,选一些出来看看页面是不是这样显示的:
这个是详情页的url模式:http://www.6our.com/article/{article_id},选一个id拼接出url http://www.6our.com/article/55840 进去看一下:
果然只有一个赞,又选了几个其它的进去看了一下发现都是一个赞。还好证了一下,不然就给出错误的结论了。
我能做点什么
我原来以为开发网站的程序员是送关怀来着,结果不是。于是我就在想,我能不能为他们做点什么呢?于是我去注册了一个账号:
然后写了个脚本,去检测页面内容,根据秘密内容进行回复,对他们送上一些鼓励的话,脚本内容:
#! /bin/bash
##############################################################
#
#
#
# 树洞鼓励师
#
#
#
##############################################################
# env
cd `dirname $0`
source utils.sh
# 模拟登陆,保存cookie
login(){
username="foo"
passwd="bar"
# 虽然不确定__hash__是做什么用的,但还是带上一下
hash_param=`curl_ "http://www.6our.com/index.php/User/Index/login" | grep -oE "[0-9a-z]+\_[0-9a-z]+" | tail -n 1`
curl_ -d "account=${username}&password=${passwd}&remember_me=1&submit=&__hash__=$hash_param" "http://www.6our.com/index.php/User/Index/checkLogin" \
| grep "登录成功" >> /dev/null
if [ $? -ne 0 ];
then
log "login failed."
exit -1
else
log "login success"
fi
}
# 回复秘密
# $1 秘密id
# $2 回复内容
replay(){
id=$1
content=$2
# 检测已有评论避免重复回复,此处的重复是指对每条秘密回复一次,而不是对每个pattern回复一次
my_name="树洞鼓励师"
curl_ -d "id=$id" "http://www.6our.com/index.php/Reply/showReply" | grep $my_name >> /dev/null
if [ $? -eq 0 ];
then
return
fi
result=`curl_ -d "pid=${id}&anonymous=0&arcontent=${content}" "http://www.6our.com/index.php/Reply/checkReply2"`
if [ "$result" -eq 1 ];
then
log "replay $id $content success"
else
log "replay $id $content failed"
fi
# 防止回复过快
sleep 3
}
# 检查符合特定的条件则恢复特定内容
# $1 秘密内容
# $2 perl正则模式
# $3 回复内容
check_pattern_and_replay(){
content=$1
id=`echo $content | grep -oP 'id="content-\d+"' | grep -oP '\d+'`
pattern=$2
replay_content=$3
echo $content | grep -P $pattern >> /dev/null
[[ $? -eq 0 ]] && replay $id $replay_content
}
# 对单个的秘密检测处理
# $1 秘密元素,包含id和内容
process_single(){
content=$1
# 热血青年
check_pattern_and_replay "$content" "需要帮助|阻碍|困难|梦想|努力" "加油,明天会更好!"
# 孤独,纵有千种风情,更与何人说
check_pattern_and_replay "$content" "(烦|讨厌|不喜欢).*社交" "跟人打交道是很难的事"
# 自杀倾向
check_pattern_and_replay "$content" "离开人世|自杀|我死了" "活着才有希望"
# 拯救颜值
check_pattern_and_replay "$content" "长的丑" "长的丑的来看下我长得有多挫,助你找回信心 :)"
}
# 监控第一页
monitor(){
while true;
do
curl_ "http://www.6our.com/qiushi" | tr -d "\r\n" | grep -oP 'id="content-\d+".+?</div>' | map "process_single"
log "look first page over"
sleep 10
done
}
login
monitor
效果:
所有脚本代码已经放到github: https://github.com/CC11001100/6our-robot
备注:
在调试正则的时候写了一个“foo|”类型的正则,导致有一部分在测试时进行了错误的评论,看到之后赶紧ctrl+c了,但是还是有几个评论删不掉了,吸取教训,以后细心一点。
.