排序:
默认
按更新时间
按访问量

周工作计划__16

这是开学的第三周,这个星期开始上课。 本周的工作重点有: 1. check一下课程,看一下哪个需要退,哪个还要继续抢。         这里想抢一下跨文化交流的英语课(不过也没那么所谓) 2. 加油看看论文,跟星宇争取在这个星期跟老师讨论一下。 3. 锻炼身体常态化。         ...

2018-09-18 09:04:32

阅读数:25

评论数:0

分布式基站中的BBU和RRU

分布式基站是相对于传统的宏基站来说的。 分布式基站一个典型的例子就是EnodeB(Evolutional Node B,LTE中的基站。) 分布式基站由两个主要的模块组成: BBU(Base Band Unit)和 RRU(Remote Raido Unit)射频拉远单元。基本思想就是说把基带...

2018-09-14 10:41:19

阅读数:22

评论数:0

关于屏幕分辨率的一点常识

平时经常听人说什么分辨率是多少多少。今天我们来总结一下常见屏幕分辨率和相关的接口。   ############### 先看分辨率 ################   1. 720p / 1080p (Progressive Scan,逐行扫描) 720p对应的分辨率为像素1280*7...

2018-09-13 10:32:47

阅读数:7

评论数:0

周工作计划__15

这个星期是研究生入学的第一个星期,作为新阶段的开始,要培养好的习惯和良好的心态。 在前两天完成了注册等乱起八糟的事情。   接下来的时间里,主要工作内容如下: 1.  养成每天早起的习惯。7:00起床,收拾一下你的 FACE & HAIR,吃早饭。 2. 看关于组...

2018-09-12 17:04:59

阅读数:12

评论数:0

MongoDB基础学习

之前对Redis有过使用,了解的还算比较清楚。redis的优势在于其处理数据的速度非常快,所以常常用作去耦合的中间件。 而MongoDB对于Json形式的数据处理有着非常大的优势(在Mongo中叫做Bson) 下面学习一下MongoDB的基本概念和操作。   1. 安装和连接: 安装不用...

2018-08-21 17:50:53

阅读数:19

评论数:0

周工作计划__14

本周是实习的最后一个星期。上个星期跑了三天抖音,可以看到基本稳定在每天获得1W用户,还是很可观的。 这个星期的工作重点主要是完成工作交接: 1. 工作总结做一下,可能HR会要问 2. 关于抖音这一块,写一个操作文档。把具体每个脚本是怎么样工作的写明白。 3. 收拾东西溜溜。 休息一个多星期...

2018-08-20 11:55:35

阅读数:19

评论数:0

MTIMproxy的强大之处

1. MITM(Man In The Middle) Attack 中间人攻击   在之前抓取抖音的工程中,使用了mitmproxy这个强大的抓包工具(或者说是中间人拦截工具)。 而mitmdump这个命令作为脚本的接口,功能及其强大,在监听包的同时还可以做一系列相关的操作,比如更改包头,获...

2018-08-17 17:16:49

阅读数:30

评论数:0

关于计算机中的编码问题: ASC2/ Unicode/ Utf-8

这些关于编码的问题在之前的课本中都已经学过,不过细节不是很清楚了。现在来巩固一下: 1. ASC2 asc2是最早的编码。 美国人发明的东西,所以这种编码只是编了127个字符,包括大小写英文字母和一些符号。规则是一个字符编8bit,也就是说1B.   显而易见,这个东西太狭窄了,只能给美...

2018-08-16 14:48:52

阅读数:193

评论数:0

关于Http和 Https

前几天在公司的网站被黑的时候,就听到别人在说什么http和https的问题,当时不太懂。 现在看一下。 1. HTTP Http 比较熟悉了,就是Hyper Text Transfer Protocol,是应用最为广泛的网络协议了。该协议没有任何加密操作,以明文的方式传递信息,所以如果在中间...

2018-08-15 14:57:41

阅读数:27

评论数:0

周工作计划__13

在Aibee工作的倒数第2个星期。 上一个星期没有写工作计划。上个星期的整个工作都是围绕着在机器上面的调试来做的,经历了把机器搬回潘哥家里(由于占用公司的带宽严重问题),远程调试,用几天时间发现速度限制的问题,再重新换方法,到爬粉丝,到现在确定的 推荐页 刷包,mitmdump抓URL写入数据库...

2018-08-13 11:04:01

阅读数:24

评论数:0

Python自动发送邮件(zmail 模块)

通过第三方(比如QQ,163) 提供的SMTP服务,我们可以用脚本来发送邮件。   1. 获取相关邮箱的SMTP服务:                首先要在QQ邮箱打开相关的SMTP服务,然后把授权码记下来,即为脚本中登陆的密码。 2. 使用zmail模块来发送邮件   相关的s...

2018-08-06 14:52:42

阅读数:24

评论数:0

周工作计划__12

上个星期都在调试,在看抖音模拟器的速度问题。 刚刚看了一下周末跑的情况-----2.5天跑了4000个用户。 比起之前算的少了很多,但是去看日志,仍然是3分钟/用户。所以问题应该是重复。是这个刷的方法的问题。     本周工作任务: 1. 等工资 2. 跟公司同事请教一下买小米股票的...

2018-08-06 11:06:50

阅读数:14

评论数:0

Linux常用命令

这里根据我个人的掌握情况和使用情况,列出常用的命令: 1. ln (Link):为某个文件在另外一个位置建立一个同步链接,占非常少量的磁盘空间。                 分为 硬链接 和 软链接。                  ln -s 文件名 链接名          ...

2018-08-02 17:26:51

阅读数:38

评论数:0

周工作计划__11

入职已经过去一个月了,这已经是第5个星期了。 上个星期,我们尝试了在服务器端搭建Genymotion模拟器,但是由于VT的问题,无法完成。然后申请回来了机器。AMD 16核64G内存,1080Ti显卡的机器,帅的一批。 这个星期工作内容入下: 1. 星期一配好环境,进行测试,看一下一共最多可...

2018-07-30 10:31:40

阅读数:38

评论数:0

抖音爬虫(基于自动化测试)

这是一篇比较粗糙的博客,大都是一些想法和整体解决方案的东西,适合于有基础的人看。   由于抖音这类的短视频网站被整改,抖音关闭了分享视频的网页接口。现在无法从网页端爬取短视频。 解决方法:手机模拟器 + 中间抓包工具 + 自动化控制脚本 + 下载脚本   相关依赖: 手机模拟器: Ge...

2018-07-25 16:58:27

阅读数:785

评论数:1

深度爬取网易Lofter的爬虫

这里的Lofter的工作是公司要的。主要目的是爬取大量用户的相册,之后做计算机视觉的训练集来用的。个人感觉这个是爬虫很常见的一个作用领域。(不过说实话,还是感觉有点low,觉得爬虫还是比较底层的工作。) 说回lofter。像这种爬取图片的一般都不难。但是Lofter这个网站,难就难在了其网页中用...

2018-07-25 13:51:38

阅读数:96

评论数:0

随记4

这几天配Linux上面的Genymotion模拟器真的让我有点怀疑人生,因为很多东西自己真的不懂,感觉还是太菜了。 好在于今天我坚持用Windows的服务器,比Linux提前一步,看到了Gen模拟器在服务器端是不能用的。这样及时止损,避免浪费更多的时间在这个上面。 不过今天认识到了关于Open...

2018-07-24 18:36:50

阅读数:20

评论数:0

周工作计划__10

关于抖音的爬虫,这已经是第三个星期了,觉得进度有点慢。这个星期无论如何要把这个爬虫做完。加油 现在已经完成了windows版本上面的工作,包括调试什么的。但是没有同时运行多个模拟器。 本周工作: 1. 在Linux环境中配置     1) mitmproxy.   类似于mitmdump ...

2018-07-23 10:14:42

阅读数:20

评论数:0

周工作计划__9

这是入职的第四个星期。这周的工作计划还是围绕着抖音的爬虫来进行的,具体的有:1.  写好Download.py 的下载脚本。要关注几点:    1)下载视频的去重。(用临时队列来完成)    2)用户的去重。(用Redis数据库中的Set来完成)2. 写好自动化测试的脚本。    现在其实已经写了...

2018-07-16 10:29:55

阅读数:32

评论数:0

JAVA环境变量配置 could not find java.dll

配置Java环境变量的时候。 最终cmd 下javac可以读取,但是输入java -version 就会报错。     could not find java.dll     could not xxxxxx Environment 这时候其实知识环境变量顺序的问题。把%JAVA_HOME...

2018-07-12 11:08:43

阅读数:43

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭