- 博客(3)
- 收藏
- 关注
RSS订阅原创 关于爬取豆瓣网几页数据将其以列表的形式输出
关系PyCharm爬取豆瓣网几页数据时，我们要用列表输出时要注意我们一定要安装完jsonpath库，如果没安装请用命令安装pip install jsonpath，或者直接点settings，找到python interpreter再点击＂＋＂，搜索关键字进行安装。start_page = int(input('请输入起始的页码'))end_page = int(input('请输入结束的页码'))# print(url) # 注释掉这一行，不输出网址。
2024-06-10 13:47:57
539
1
原创 MapReduce以及WordCount案例
并行计算与运行软件框架：MapReduce是一个并行计算与运行软件框架，能自动完成计算任务的并行化处理，自动划分计算数据和计算任务，在集群节点上自动分配和执行任务以及收集计算结果。此外，MapReduce的槽位资源分配模型也可能导致资源利用率低下，因为通常一个任务无法使用完槽位对应的资源，而其他任务又无法使用这些空闲资源。编程复杂性：虽然MapReduce提供了高级抽象，隐藏了底层的并行和分布式处理细节，但对于某些复杂的计算任务，编写和调试MapReduce作业仍然可能是一项复杂的任务。
2024-05-22 20:37:38
897
1
原创 HDFS基准测试Hadoop3.1.3
在此我们要注意我们在文件夹里Hadoop是否改名，如果改了用以下代码，hadoop jar /opt/module/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 10MB。手动退出安全模式：可以通过命令hdfs dfsadmin -safemode leave来手动使NameNode退出安全模式。
2024-03-17 20:14:46
541
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人