- 博客(9)
- 收藏
- 关注
RSS订阅原创 大数据技术之_Spark及内核优化 尚*谷3.0.0
尚硅谷大数据技术之 Spark 优化版本：V3.0作者：尚硅谷大数据研发部第 1 章 Spark 性能调优1.1常规性能调优1.1.1常规性能调优一：最优资源配置Spark 性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。资源的分配在使用脚本提交 Spark 任务时进行指定，标准的 Spark 任务提交脚本如下所示：可以进行分配的资源如表所示：名称 说明–num-execu
2021-10-21 21:43:08
343
原创 python使用requests库发送https请求报错：SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED]
添加链接描述
2021-10-18 21:27:16
1007
原创 python操作文件夹、文件大全
一、python中对文件、文件夹操作时经常用到的os模块和shutil模块常用方法。1.得到当前工作目录，即当前Python脚本工作的目录路径: os.getcwd()2.返回指定目录下的所有文件和目录名:os.listdir()3.函数用来删除一个文件:os.remove()4.删除多个目录：os.removedirs（r“c：\python”）5.检验给出的路径是否是一个文件：os.path.isfile()6.检验给出的路径是否是一个目录：os.path.isdir()7.判断是否是绝对
2021-10-04 22:44:34
613
原创 爬虫代码报错：Remote end closed connection without response
原因分析1.UA被识别为爬虫，封了，解决–> 设置cookie池import randomdef cookie_list(): USER_AGENTS = [ "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", "Mozilla/4.0 (compatible; MS
2021-10-03 14:59:55
1366
2
原创 python全局变量的玩法
# 记录每个分类项出现空值的个数 def count_add(home,title): global null_cnt_dict global null_value_dict # 每调用一次函数就给相应的home加1 null_cnt_dict[home] = null_cnt_dict[home] + 1 # 空值的title添加进list null_value_dict[home].append(title) # 程序结束
2021-10-03 14:38:37
194
原创 python写入数据到csv中，头信息保证只写入一次
import csvimport codecswith codecs.open(filename,'a+','utf-8') as csvfp: # 指定csv文件的头部显示项 global flag_only_one if(flag_only_one): file_headers = ["标题","网盘地址","提取码","解压密码"] writer = cs.
2021-10-03 14:20:52
1915
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人