- 博客(12)
- 收藏
- 关注
RSS订阅原创 【爬虫实践】爬虫获取豆瓣用户粉丝信息
有这样大一个需求，获取豆瓣大V粉丝观影数。我开始觉得这种应该很好获取，通过使用shell利用grep和awk 几行就可以搞定了，后来我发觉需要使用登陆才能获取豆瓣用户关注人，我打算利用curl 带cookie来实现登陆，不过都失败了，所以我利用python实现登陆，然后调用shell来获取一些用户信息，具体代码如下：python脚本：#-*-coding:utf-8-*-import ...
2018-11-13 00:30:52
3605
3
原创 mount_nfs: can't mount /data from x.x.x.x onto /Users/caicloud/nfs1: Operation not permitted
今天自己用某云搭建了一台nfs共享，因为自己更喜欢在linux主机上调试，搭建好以后打算mount 到mac上，发现一下提示MacBook-Pro-4:~ caicloud$ sudo mount -t nfs x.x.x.x:/data nfs1/mount_nfs: can't mount /data from x.x.x.x onto /Users/caicloud/nfs1: Op...
2018-11-09 23:25:35
2944
1
原创 爬豆瓣1000个用户电影信息
获取1000个用户看的电影信息#/bin/bash# name: get_see_movies.sh# version: 1.0# ceateTime: 2018-08-12# description: 输入豆瓣用户id,获取所有看过的电影以及评分，标签等，并存到数据库中# author: mengyanhuangchao# ema...
2018-11-06 16:51:07
632
3
原创 使用shell下载查找对应的电影
#/bin/bash# name: select_movie.sh# version: 1.0# ceateTime: 2018-08-18# description: 输入豆瓣用户id，得出来豆瓣用户看过电影的类型便签# author: mengyanhuangchao# email: 406993906@qq.com...
2018-07-18 23:50:11
343
原创 解决vi中粘贴会在行首多很多缩进和空格的问题
环境是centos6，发现非root用户在vi粘贴是没有问题的，root用户用vi粘贴首行很多缩进和空格，大概情况如下 if [[ $parameter_1 == "--download" || $parameter_1 == '-d' ]];then if [ -n "$(echo $parameter_2| sed -n "/^[0-9]\+$/p")" ];then ...
2018-07-17 23:24:13
1727
原创 获取豆瓣用户看过的电影名以及评分，短评，标签等
数据定向到mysql数据库中，并备份到本地文件#/bin/bash# name: get_see_movies.sh# version: 1.0# ceateTime: 2018-08-12# description: 输入豆瓣用户id,获取所有看过的电影以及评分，标签等，并存到数据库中# author: mengyanhuangchao...
2018-07-14 23:57:53
4685
8
原创 使用shell分析豆瓣用户的电影喜好
摒弃了多线程，发现多线程和单线程用的时间差不多，多线程情况下存在统计错误的情况，有待排查原因。#/bin/bash# name: data_analysis.sh# version: 1.0# ceateTime: 2018-08-10# description: 输入豆瓣用户id，得出来豆瓣用户看过电影的类型便签# author: mengyanhuangchao# em...
2018-07-13 00:58:59
292
原创 shell分析豆瓣用户的电影喜好
#/bin/bash# 设置并发的进程数thread_num=5a=$(date +%H%M%S)# mkfifotempfifo="my_temp_fifo"mkfifo ${tempfifo}# 使文件描述符为非阻塞式exec 6<>${tempfifo}rm -f ${tempfifo}# 为文件描述符创建占位信息for ((i=1;i<=${thread_num};i++...
2018-07-02 01:28:28
288
原创 抓取豆瓣top250电影剧照
引入了shell的多线程，但是正则表达式还是有问题，导致图片和命名不一致，还缺少几个图片，有时间定位下问题顺便考虑下如何优化正则表达式。#/bin/bash# 设置并发的进程数thread_num=5a=$(date +%H%M%S)# mkfifotempfifo="my_temp_fifo"mkfifo ${tempfifo}# 使文件描述符为非阻塞式exec 6<>${tempf...
2018-07-01 22:07:59
398
原创 一行shell代码进行爬虫，没想到。。。。
开始用数组来下载前25部电影，结果是ok的！#!/bin/bashmovename=`curl https://movie.douban.com/top250 |grep '<img width="100"'|awk -F '"' '{print $4}'`pictureurl=`curl https://movie.douban.com/top250 |grep '<img widt...
2018-06-29 01:42:39
2689
3
转载 read的用法
read命令：read 命令从标准输入中读取一行，并把输入行的每个字段的值指定给 shell 变量1）read后面的变量var可以只有一个，也可以有多个，这时如果输入多个数据，则第一个数据给第一个变量，第二个数据给第二个变量，如果输入数据个数过多，则最后所有的值都给最后一个变量-p read –p “提示语句”，则屏幕就会输出提示语句，如下图当变量个数和输入个数一
2017-04-04 23:53:17
3430
转载 linux echo命令介绍及-n、-e参数详解
echo在php中是输入那么在linux中是不是也是输入呢，当然echo在linux也是输入不过它的用法比php强大多了可以带参数及一些东西，下面我们来看一篇关于linux echo命令介绍及-n、-e参数详解吧，具体如下所示。echo命令用于在shell中打印shell变量的值，或者直接输出指定的字符串。linux的echo命令，在shell编程中极为常用, 在终端下打印变量valu
2017-04-04 23:33:04
2257
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人