2301_81897189的博客

关系PyCharm爬取豆瓣网几页数据时，我们要用列表输出时要注意我们一定要安装完jsonpath库，如果没安装请用命令安装pip install jsonpath，或者直接点settings，找到python interpreter再点击＂＋＂，搜索关键字进行安装。start_page = int(input('请输入起始的页码'))end_page = int(input('请输入结束的页码'))# print(url) # 注释掉这一行，不输出网址。

并行计算与运行软件框架：MapReduce是一个并行计算与运行软件框架，能自动完成计算任务的并行化处理，自动划分计算数据和计算任务，在集群节点上自动分配和执行任务以及收集计算结果。此外，MapReduce的槽位资源分配模型也可能导致资源利用率低下，因为通常一个任务无法使用完槽位对应的资源，而其他任务又无法使用这些空闲资源。编程复杂性：虽然MapReduce提供了高级抽象，隐藏了底层的并行和分布式处理细节，但对于某些复杂的计算任务，编写和调试MapReduce作业仍然可能是一项复杂的任务。

在此我们要注意我们在文件夹里Hadoop是否改名，如果改了用以下代码，hadoop jar /opt/module/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 10MB。手动退出安全模式：可以通过命令hdfs dfsadmin -safemode leave来手动使NameNode退出安全模式。