- 博客(9)
- 收藏
- 关注
RSS订阅原创 MapRedece执行流程各个阶段的理解
阶段大致阶段：split->map->shuffle->reducesplit阶段split是将一个大文件进行逻辑上的切片，主要记录的是数据位置而非数据本身，一个分片对应一个map，以提高map处理的并行度。由于map任务的本地化，split大小默认和block大小相同，避免跨节点block带来网络开销map阶段每个map任务是一个java进程，它会读取HDFS中自己的输入分片，将分片中的数据按照一定规则解析成很多的键值对shuffle阶段shuffle阶段完成对数据的分区，
2022-05-25 14:55:19
253
原创 Python练习题 Day5
Python练习题 Day5practice 1编写Python程序检查文件是否存在import os.pathopen('abc.txt', 'w') # 创建一个只读文件print(os.path.isfile('abc.txt'))practice 2编写Python程序来确定Python shell是在操作系统上以32位模式执行还是64位模式执行import structprint(struct.calcsize("P") * 8)# P表示void *（通用指针）。在32
2021-03-24 13:52:12
140
原创 Python练习题 Day4
Python练习题 Day4practice 1写一个Python程序来计算两个正整数的最大公约数def max_commen_num(a, b): num = 0 # 初始化一个公约数，方便后续进行赋值 if a % b == 0: return b # 这里如果a除b余数为0，那么b就是a的最大公约数 for i in range(int(b / 2), 0, -1): # 这里是指从b/2到0，步数为1倒着数 if a % i ==
2021-03-23 14:13:33
175
原创 Python练习题 Day3
Python练习题 Day3practice 1编写Python程序，判断给定的数字是偶数还是奇数，并向用户输出判断结果。def even_or_odd(numb): if numb % 2 == 0: return '该数字为偶数' else: return '该数字为奇数'print(even_or_odd(-9))print(even_or_odd(444))practice 2编写一个Python程序来计算列表中出现多少个4。de
2021-03-22 11:08:48
321
原创 python练习题 Day2
Python练习题 Day2practice1编写Python程序打印Python内置函数的文档(语法、描述等)。样本函数:abs()预期结果:abs(数字)–>数字返回参数的绝对值。print(abs.__doc__)practice2编写一个Python程序打印给定月份和年份的日历。注意:使用’calendar’模块。import calendary = int(input("请输入年份："))m = int(input("请输入月份："))print(calenda
2021-03-18 15:48:55
1008
12
原创 python练习题 Day1
python练习题 Day1Write a Python program to print the following string in a specific format (see the output). Go to the editorSample String : “Twinkle, twinkle, little star, How I wonder what you are! Up above the world so high, Like a diamond in the sky. T
2021-03-16 17:45:43
339
2
原创 使用pycharm连接mysql进行可视化操作遇到的问题。
使用pycharm连接mysql进行可视化操作遇到的问题。一：社区版与专业版。①：社区版。刚开始尝试的是社区版pycharm进行连接，要自行下载工具。具体操作如下、1：file–>settings2：在plugins中搜索database3：点击搜索4：选中要下载的数据库，点击右边的安装并重启。我这里已装好，无安装键。后续操作与专业版一致。②：专业版专业版已安装了database。直接进行连接即可。操作如下。1：点击界面右上角的database。2：依次点击DataSo
2020-09-21 15:13:58
477
转载 解决jupyter notebook打不开无反应 浏览器未启动的问题
解决jupyter notebook打不开无反应 浏览器未启动的问题来源: 互联网 作者: vegecken收藏一下。已注明转载地址。方便以后查看这篇文章主要介绍了解决jupyter notebook打不开无反应 浏览器未启动的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧问题：这几天要看几个ipython格式的文件,但是jupyter notebook打开之后一直卡在命令行的界面那里(如图),然后就不动了,浏览器也没有预期地自动弹出来.解决jupyter notebook
2020-09-18 10:42:29
21874
23
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人