python spider的技术总结

1. python模块内需要有_init_.py 才会被扫描成python包进而可以调用，因python版本不同，这一特性时有时无
2. 挂代理pip install XXX -i https://pypi.tuna.tsinghua.edu.cn/simple
3. python注释中出现中文可能出现无法通过解释器，需要在首行申明 # coding:utf-8，或者IDE上作全局解释
4. Python 3.6以上版本的新增特性，可以用下划线来分割数字以提高可读性，例如：
   dec_base = 1_000_000
   bin_base = 0b_1111_0000
   hex_base = 0x_1234_abcd
   ———————————————————————
   ———————20210119———————————
5. _thread.start_new_thread(fun(),argus[],kwargs[])：简单的创建新线程。
   demo:

    for i in range(1, task_num):
        try:

            _thread.start_new_thread(run, ("https://m.bilibili.com/space/" + str(i),))
            _thread.start_new_thread(run, ("https://m.bilibili.com/space/" + str(i + task_num),))
            _thread.start_new_thread(run, ("https://m.bilibili.com/space/" + str(i + 2 * task_num),))
            _thread.start_new_thread(run, ("https://m.bilibili.com/space/" + str(i + 3 * task_num),))
        except Exception as e:
            logging.error("thread initialization error" + e)

6. argus与kwargs 均表示不定长参数，kwargs是key-value形式，参考一下代码

def print_values(**kwargs):
    for key, value in kwargs.items():
        print("The value of {} is {}".format(key, value))

print_values(
    name_1="Alex",
    name_2="Gray",
    name_3="Harper",
    name_4="Phoenix",
    name_5="Remy",
    name_6="Val"
)

7. 单行 return 相当于 return none

———————————————————————
———————20210120———————————