1、请简要说明视图的作用
数据库视图，隐藏数据复杂性；有利于用户对于数据库中某些列数据的访问
使用户查询变得简单
2、列举您使用过的python网络爬虫所用到的网络数据包（最熟悉的在前）：
requests,urllib2,urllib
3、列举您使用过的python网络爬虫所用到的解析数据包（最熟悉的在前）：
xpath, beautifulsoup
4、列举您使用过的python中的编码方式（最熟悉的在前）：
utf-8,gbk
5、python3.5语言中enumerate的意思是_______________________
在python中是列表，枚举
6、99的八进制表示是_______________________
143
7、请举出三种常用的排序算法
冒泡，选择，快速
8、列出比较熟悉的爬虫框架
scrapy
9、 用4、 9 、 2、 7四个数字，可以使用+、-、*和/，每个数字使用一次，使表达式的结果为24，表达式是_____________________________
24=（9+7-4）*2
10、 您最熟悉的Unix环境是_____________.Unix下查询环境变量的命令是________,查询脚本定时任务的命令是____________________
ubentu,echo $环境变量名称；crontab -l
11、 写出在网络爬虫爬取数据的过程中，遇到的防爬虫问题的解决方案
1. 应用手机的网页页面；2. 设置多个
通过headers反爬虫：解决策略，伪造headers
基于用户行为反爬虫：动态变化去爬取数据，模拟普通用户的行为
基于动态页面的反爬虫：跟踪服务器发送的ajax请求，模拟ajax请求
12、 阅读以下Python程序
for i in range(5,0,-1):
print(i)
请在下面写出打印结果
5，4，3，2，1
13、在某系统中一个整数占用两个八位字节，使用Python按下面的要求编写完整程序。
接收从标准输入中依次输入的五个数字，将其组合成为一个整数，放入全局变量n中，随后在标准输出输出这个整数。（ord(char)获取字符ASCII值的函数）
14、 post、get有什么区别？
1. 根据HTTP规范，GET一般用于获取/查询资源信息，应该是安全的和幂等。而POST一般用于更新资源信息2. get是在url中传递数据，数据放在请求头中。 post是在请求体中传递数据3. get传送的数据量较小，只能在请求头上发送数据。post传送的数据量较大，一般被默认为不受限制。5. get安全性非常低，post安全性较高。但是执行效率却比Post方法好。
建议：1、get方式的安全性较Post方式要差些，包含机密信息的话，建议用Post数据提交方式；2、在做数据查询时，建议用Get方式；而在做数据添加、修改或删除时，建议用Post方式；
Get 在url中传递数据，数据信息放在请求头中；而post请求信息放在请求体中进行传递数据；get传输数据的数据量较小，只能在请求头中发送数据。
Post传输数据信息比较大，一般不受限制；
Get数据传输安全性低，post传输数据安全性高
在执行效率来说，get比post好
2、 http、https协议有什么区别？
https 相对于http 来说对于网页更安全；
http协议是超文本传输协议，被用于在web浏览器和网站服务器之间传递信息。http协议工作是以明文方式发送内容，不提供任何形式的数据加密，而这也是很容易被黑客利用的地方，如果黑客截取了web浏览器和网站服务器之间的传输信息，就可以直接读懂其中的信息，因此http协议不适合传输一些重要的、敏感的信息，比如信用卡密码及支付验证码等。
安全套接字层https协议就是为了解决http协议的这一安全缺陷而出生的，为了数据传输的安全，https在http的基础上加入了ssl协议，ssl依靠证书来验证服务器的身份，为浏览器和服务器之间的通信加密，这样的话即使黑客借去了发送过程中的信息，也无法破解读懂它，我们网站及用户的信息便得到了最大的安全保障。
https协议需要到ca申请证书，一般免费证书很少，需要费用。
http是超文本传输协议，信息是明文传输，https 则是具有安全性的ssl加密传输协议
http和https使用的是完全不同的连接方式用的端口也不一样,前者是80,后者是443。
http的连接很简单,是无状态的， HTTPS协议是由SSL+HTTP协议构建的可进行加密传输、身份认证的网络协议 要比http协议安全
http是超文本传输协议，信息明文传输；https是http与ssl加密传输的
http连接的端口应用的是80；https连接的端口应用443
http连接无状态；而https连接是应用http与ssl协议进行连接，可以进行加密传输与身份验证等服务，比http更加安全
3、 域名和IP之间有什么关系，如何查看某个域名对应的所有IP？
国际互联网(Internet)上有成千百万台主机（host），为了区分这些主机，人们给每台主机都分配了一个专门的“地址”作为标识，称为IP地址
由于IP地址全是些的数字，为了便于用户记忆，Internet上引进了域名服务系统DNS（Domain Name System）。
当您键入某个域名的时候，这个信息首先到达提供此域名解析的服务器上，再将此域名解析为相应网站的IP地址。完成这一任务的过程就称为域名解析。
1.ping 2.nslookup 3.使用站长工具等
在互联网上有成千上万的主机，为了区分这些主机，为每一个主机分配了IP,而IP全是数字，为了方便人们记忆，生成了域名，
Ping;站长工具
4、 http协议头中，keep-alive字段有什么作用？
HTTP协议采用“请求-应答”模式，当使用普通模式，即非KeepAlive模式时，每个请求/应答客户和服务器都要新建一个连接，完成 之后立即断开连接（HTTP协议为无连接的协议）；
当使用Keep-Alive模式（又称持久连接、连接重用）时，Keep-Alive功能使客户端到服 务器端的连接持续有效，当出现对服务器的后继请求时，Keep-Alive功能避免了建立或者重新建立连接。
通过使用keep-alive机制，可以减少tcp连接建立次数，也意味着可以减少TIME_WAIT状态连接，以此提高性能和提高httpd服务器的吞吐率(更少的tcp连接意味着更少的系统内核调用,socket的accept()和close()调用)。
5、 robots协议是什么？
Robots协议（也称为爬虫协议、爬虫规则、机器人协议等）也就是robots.txt，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令，故需要搜索引擎自觉遵守。
6、 列出几种常见的关系型数据库和非关系型数据库？（每种至少两个）
mysql,oracle mongoDB,redis
Oracle、Mysql、SQLServer、DB2 Redis MongoDB Cassandra
7、 内存泄露是什么？如何避免？
指由于疏忽或错误造成程序未能释放已经不再使用的内存的情况。
内存泄漏并非指内存在物理上的消失，而是应用程序分配某段内存后，由于设计错误，失去了对该段内存的控制，因而造成了内存的浪费。
导致程序运行速度减慢甚至系统崩溃等严重后果。
有 __del__() 函数的对象间的循环引用是导致内存泄漏的主凶。
不使用一个对象时使用:del object 来删除一个对象的引用计数就可以有效防止内存泄漏问题.
通过 Python 扩展模块 gc 来查看不能回收的对象的详细信息
可以通过 sys.getrefcount(obj) 来获取对象的引用计数，并根据返回值是否为 0 来判断是否内存泄漏
Python的内存管理机制1.引用计数：通过引用计数来保持对内存中的变量跟踪，Python内部记录中所有在使用对象各有多少个引用。
Python中有个内部跟踪变量叫做引用计数器，每个变量有多少个引用，简称引用计数。当对象被创建时就创建了一个引用计数。
当某个对象的引用计数为0时，对象就不在需要，就列入了垃圾回收队列。
引用计数增加：1.对象被创建：x=4;2.另外的别人被创建：y=x;3.被作为参数传递给函数：foo(x);4.作为容器对象的一个元素：a=[1,x,'33'];
引用计数减少时：1.一个本地引用离开了它的作用域。比如上面的foo(x)函数结束时，x指向的对象引用减1;
2.对象的别名被显式的销毁：del x ；或者del y;
3.对象的一个别名被赋值给其他对象：x=789
4.对象从一个窗口对象中移除：myList.remove(x)
5.窗口对象本身被销毁：del myList，或者窗口对象本身离开了作用域。
2.垃圾回收1.引用计数： 每个对象中都有ob-refcnt来做引用计数。当一个对象...,ob-refcnt就会增加，当引用的对象删除，那么ob-refcnt就会减少当ob-refcnt为零，就会释放该对象的内存空间2.标记清除： 解决循环引用的问题。先按需分配，等到没有空闲内存的时候，从寄存器和程序栈上的引用出发，遍历所有对象和引用把所有能访问的打标记，最后将没有标记的对象释放掉3.分代技术： 提高效率，提高垃圾回收的效率，按照存活时间，分成不同的集合。将内存块按照其存活时间划分为不同的集合。每个集合就称为一个“代”，垃圾回收的频率随代的存活时间增大而减小。。Python默认定义分代对象集合，引用数越大，对象的存活时间越长
3.内存池机制
在Python中，大多数申请的都是小块的内存，会执行大量的malloc和free操作。Python引入了一个内存池机制，用于管理对小块内存的申请和释放，即Pymalloc机制。
它将不用的内存放到内存池而不是返回给操作系统。1. 当申请的内存小于256字节时，PyObject_Malloc会在内存池中申请内存；当申请的内存大于256字节时，PyObject_Malloc的行为将蜕化为malloc的行为。当然，通过修改Python源代码，我们可以改变这个默认值，从而改变Python的默认内存管理行为。2. 对于Python对象，如整数，浮点数和List，都有其独立的私有内存池，对象间不共享他们的内存池。也就是说如果你分配又释放了大量的整数，用于缓存这些整数的内存就不能再分配给浮点数。
8、 列举几个常用的dom解析项目、插件
xpath，xml
xml、libxml2 、lxml 、xpath
9、 常见的反爬虫机制有哪些？
爬取过程中，生成多个headers，伪造;
通过headers反爬虫：解决策略，伪造headers
基于用户行为反爬虫：动态变化去爬取数据，模拟普通用户的行为
基于动态页面的反爬虫：跟踪服务器发送的ajax请求，模拟ajax请求
动态爬取数据，模仿用户行为；
1. 伪装user agent
2.使用代理
3. 降低访问频率
4. 动态爬取数据，模拟用户行为；或通过ajax请求进行模拟。
10、如何提高爬取效率？
爬虫下载慢主要原因是阻塞等待发往网站的请求和网站返回；
1. 爬取方面，利用异步io。2.处理方面，利用消息队列做生产者消费者模型
1. 采用异步与多线程，扩大，电脑的cpu利用率；
2. 采用消息队列模式
3. 提高带宽
1、楼梯问题
1.1、给一个楼梯，从最下面往上走，每次可以走1到n步，求总共有多少种走法？
1.2、给一个楼梯，从最下面往上走，每次可以走1步或2步，求总共有多少种走法？
1.3、给一个楼梯，从最下面往上走，每次可以走1步或2步或3步，求总共有多少种走法？
# 1、 给一个楼梯，从最下面往上走，每次可以走1或2步，求总共有多少种走法？
# 假设只有一个台阶，那么只有一种跳法，那就是一次跳一级，f(1)=1；如果有两个台阶，那么有两种跳法，第一种跳法是一次跳一级，第二种跳法是一次跳两级,f(2)=2。
# 如果有大于2级的n级台阶，那么假如第一次跳一级台阶，剩下还有n-1级台阶，有f(n-1)种跳法，假如第一次条2级台阶，剩下n-2级台阶，有f(n-2)种跳法。这就表示f(n)=f(n-1)+f(n-2)。def walk_stairs(stairs):
if stairs == 1:
return 1
if stairs == 2:
return 2
else:
return walk_stairs(stairs-1) + walk_stairs(stairs-2)
# 2、给一个楼梯，从最下面往上走，每次可以走1到n步，求总共有多少种走法？
# 上1个台阶 1
# 上2个台阶 2
# 上3个台阶 4
# 上4个台阶 8
# 上n个台阶 2^(n-1)
# 3、给一个楼梯，从最下面往上走，每次可以走1步或2步或3步，求总共有多少种走法？
# 上1个台阶 2^(1-1)
# 上2个台阶 2^(2-1)
# 上3个台阶 2^(3-1)
# f(n) = f(n-1) + f(n-2) + f(n-3)
2、 给一个字符数组，字符包含a-z、1-9，比如：a b c 4 b 2 a c 1 1 3，求只出现一次的第一次出现的字符
str_list = ['a', 'b', 'c', 4, 'b', 2, 'a', 'c', 1, 1, 3]
def find_only_one(alist):
for string in alist:
count = alist.count(string)
if count == 1:
return string
return None
3、 有一个html文本字符串，让我取出<a href="提示我这个链接地址">sflkj</a>这个a标签里面的href的链接地址？
from bs4 import BeautifulSoup
text = "<a href='提示我这个链接地址'>sflkj</a>"
the_html = BeautifulSoup(text,features='lxml')
print(the_html.find('a').attrs['href'])
或：from lxml import etree
Html = "<a href='提示我这个链接地址'>sflkj</a>".content.decode()
Html = etree.Html(Html)
li_temp_list = Html.xpath("//a/@href")
4、 下面是一个单线程的代码，请改写成多线程的：
start = "http://google.com"
queue = [start]
visited = {start}
while queue:
url = queue.pop(0)
print(url)
for next_url in extract_url(url):
if next_url not in visited:
queue.append(next_url)
visited.add(next_url)
-----------------------------------------
from concurrent.futures import ThreadPoolExecutor
start = "http://google.com"
queue = [start]
visited = {start}
pool = ThreadPoolExecutor(10)
def func(url):
for next_url in extract_url(url):
if next_url not in visited:
queue.append(next_url)
visited.add(next_url)
while queue:
url = queue.pop(0)
pool.submit(func,url)
pool.shutdown(wait=True)
457
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
