- 博客(23)
- 资源 (21)
- 收藏
- 关注
RSS订阅原创 Python3.8 Django3.0 传递json数据到js
在test_data.py文件的方法中from django.http import JsonResponsedef mydata_json(request): mydata_dict = { 'name':'test_data', 'jubject':'Math', } return JsonResponse(mydata_dict)在url.py 文件中配置，在该文件头部还需要根据方法位置导入该mydata_json方法u
2020-08-30 17:46:26
584
原创 PyCharm 计算一个项目代码行数
该插件需要Java1.8环境变量支持，没有安装JRE的同学需要先安装Java1.8，部署JRE环境。完成JRE环境部署之后，请再点击下面网址下载Statistic.jar安装包1、下载 statistics 插件https://plugins.jetbrains.com/plugin/4509-statistic/versions2、我这里下载的是Statistic-4.1.43、PyCharm -- Settings -- Plugins -- Install...
2020-08-30 15:48:05
1959
2
转载 8.4 MapReduce 三大组件（二）：Sort
任务目的理解流量统计项目案例的业务逻辑 学会利用 WritableComparable 接口实现自定义排序 掌握流量统计项目案例 Map 和 Reduce 端的自定义业务逻辑的编写 熟记 MapReduce Driver 端编程规范任务清单任务1：流量统计项目案例 任务2：WritableComparable 排序 任务3：MapReduce 编程详细任务步骤任务1：流量统计项目案例 （1）数据样例13726238888 2481 24681 13560436666
2020-08-09 13:12:19
424
转载 8.3 MapReduce 中的序列化（二）
任务目的理解流量统计项目案例的业务逻辑 掌握流量统计项目案例 Map 端的自定义业务逻辑的编写 掌握流量统计项目案例 Reduce 端的自定义业务逻辑的编写 熟记 MapReduce Driver 端编程规范任务清单任务1：流量统计项目案例 任务2：Map 端程序编写 任务3：Reduce 端程序编写 任务4：Driver 端程序编写详细任务步骤任务1：流量统计项目案例 （1）数据样例13726238888 2481 24681 13560436666 1116 9
2020-08-06 12:59:53
333
转载 8.2 MapReduce 中的序列化（一）
任务目的了解序列化和反序列化的概念和作用 理解 Java 的序列化和反序列化实现 可以自定义对象实现 MapReduce 框架的序列化任务清单任务1：序列化概述 任务2：Java 序列化 任务3：实现 MapReduce 框架的序列化详细任务步骤任务1：序列化概述序列化（Serialization）：是指把结构化对象（Object）转化为字节流（ByteStream）。 反序列化（Deserialization）：是序列化的逆过程。即把字节流转回结构化对象。图1
2020-08-06 12:59:10
512
转载 8.1 Shuffle 工作机制
任务目的理解 Shuffle 的概念和作用 理解 Map 端 Shuffle 的详细过程 理解 Reduce 端 Shuffle 的详细过程任务清单任务1：Shuffle 简介 任务2：Shuffle 主要流程 任务3：Map 端的 Shuffle 过程 任务4：Reduce 端的 Shuffle 过程详细任务步骤任务1：Shuffle 简介 在 Hadoop 中数据从 Map 阶段传递给 Reduce 阶段的过程就叫 Shuffle，Shuffle 机制是整个 MapRed
2020-08-06 12:57:25
699
转载 7.5 MapReduce程序的核心运行机制
任务目的知晓客户端对 Map 阶段并行度的规划 掌握 FileInputFormat 的默认切片机制 掌握手动设置 ReduceTask 数量的方法 理解 MapReduce 程序的运行流程任务清单任务1：MapTask 并行度决定机制 任务2：ReduceTask 并行度决定机制 任务3：MapReduce 程序的运行流程详细任务步骤任务1：MapTask 并行度决定机制1.1 MapTask 并行度 MapTask 并行度决定 Map 阶段的任务处理并发度，进而影响到
2020-08-06 12:55:30
281
转载 7.4 WordCount示例编写（三）
任务目的掌握 MapReduce 程序运行模式 理解 Combiner 的作用和使用方式任务清单任务1：MapReduce 程序运行模式 任务2：MapReduce 三大组件（一）：Combiner详细任务步骤任务1：MapReduce 程序运行模式 1. 本地运行模式（eclipse 开发环境下本地运行， 好处是方便调试和测试）要点一： MapReduce 程序是被提交给 LocalJobRunner 在本地以单进程的形式运行 要点二： 数据输入输出可以在本地，也可以在 H
2020-08-06 12:54:47
512
转载 7.3 WordCount示例编写（二）
任务目的理解 WordCount 示例的业务逻辑 掌握 MapReduce Reduce 端编程规范 理解 WordCount 示例 Reduce 端的自定义业务逻辑的编写 熟记 MapReduce Driver 端编程规范任务清单任务1：WordCount Reduce 端程序编写 任务2：WordCount Driver 端程序编写详细任务步骤首先回顾一下 WordCount 示例的业务逻辑： MapTask 阶段处理每个数据分块的单词统计分析，思路是将每一行文本拆分成一个
2020-08-06 12:54:04
810
转载 7.2 WordCount示例编写（一）
任务目的理解 WordCount 示例的业务逻辑 掌握 MapReduce Map 端编程规范 理解 WordCount 示例 Map 端的自定义业务逻辑的编写任务清单任务1：WordCount 的业务逻辑 任务2：WordCount Map 端程序编写详细任务步骤任务1：WordCount 的业务逻辑 MapTask 阶段处理每个数据分块的单词统计分析，思路是将每一行文本拆分成一个个的单词，每遇到一个单词则把其转换成一个 key-value 对，比如单词 Car，就转换成<
2020-08-06 12:53:00
775
转载 7.1 MapReduce简介
任务目的理解 MapReduce 的概念 掌握 MapReduce 程序运行的步骤 掌握 MapReduce 编程规范任务清单任务1：MapReduce概述 任务2：MapReduce 程序运行演示 任务3：MapReduce 示例编写规范详细任务步骤任务1：MapReduce概述 1. 什么是MapReduce？ 重温 Hadoop 四大组件：HDFS：分布式文件系统 MapReduce：分布式运算编程框架 YARN： Hadoop 的资源调度系统 Commo
2020-08-06 12:52:16
216
转载 6.4 Java API 操作 HDFS 文件（三）
任务目的学会使用 Java API 删除指定的 HDFS 文件或目录 学会使用 Java API 查看指定 HDFS 目录下所有文件信息和对应块信息任务清单任务1：删除文件/目录 任务2：查看指定路径中文件和块信息详细任务步骤任务1：删除文件/目录 通过FileSystem.delete（Path f，Boolean recursive）可删除指定的 HDFS 文件或目录，其中f为需要删除文件或目录的完整路径，recursive用来确定是否进行递归删除，若是删除文件则为...
2020-08-06 12:51:31
476
转载 6.3 Java API 操作 HDFS 文件（二）
任务目的学会使用 Java API 将 HDFS 文件下载到本地指定位置 掌握对 HDFS 文件或目录重命名的使用方法 学会使用 Java API 查看指定 HDFS 中某个目录下所有的文件或文件夹任务清单任务1：下载文件 任务2：重命名文件/目录 任务3：查看文件/目录状态详细任务步骤任务1：创建目录 通过FileSystem.copyToLocalFile（Path src，Patch dst）可将 HDFS 文件下载到本地的指定位置上，其中src和dst均为文件的...
2020-08-06 12:50:54
464
转载 6.2 Java API 操作 HDFS 文件（一）
任务目的了解 junit 的作用和常用注解 掌握使用 Java API 在 HDFS 上创建目录的方法 学会使用 Java API 将本地文件上传到 HDFS 指定位置任务清单任务1：创建目录 任务2：上传文件详细任务步骤 junit 是什么？ junit 是一个 Java 语言的单元测试框架，用于编写和运行可重复的测试。 junit 能做什么？ 能让我们快速完成单元测试。简化单元测试，写一点测一点，在编写以后的代码中如果发现问题可以较快的追踪到问题的原因，减小回归错误
2020-08-05 23:37:40
422
转载 6.1 Eclipse 连接 Hadoop
任务目的掌握在 Linux 下 Eclipse 连接 Hadoop 的详细步骤 掌握获取 fs 对象的两种方式任务清单任务1：Linux 下 Eclipse 连接 Hadoop 任务2：FileSystem 实例获取详细任务步骤任务1：Linux 下 Eclipse 连接 Hadoop 1. 首先启动 Hadoop 集群； 2. 下载并安装 Eclipse 开发工具，此平台在 /root/software 目录下已经为大家安装好了 Eclipse，所以无需再重复安装； 3.
2020-08-05 23:36:27
1781
转载 5.1 HDFS 工作机制
任务目的掌握 HDFS 集群三大重要角色的主要工作职责 理解 HDFS 写数据的详细流程 理解 HDFS 读数据的详细流程任务清单任务1：HDFS 概述 任务2：HDFS 写数据流程 任务3：HDFS 读数据流程详细任务步骤任务1：HDFS 概述 1. HDFS 集群分为三大角色：NameNode、DataNode、SecondaryNameNode。 2. NameNode 负责管理整个文件系统的元数据（简单的说，元数据就是描述文件的数据，如文件名、目录名、文件大小、文.
2020-08-05 01:04:45
233
转载 4.3 HDFS 安全模式
任务目的了解什么是安全模式，知晓集群在安全模式下能做什么工作 掌握集群进入和退出安全模式的三种情况 掌握集群在正常冷启动时进入安全模式的原理任务清单任务1：安全模式简介 任务2：进入安全模式的三种情况 任务3：退出安全模式的三种方式详细任务步骤任务1：安全模式简介 问题场景： 集群启动后，可以查看目录，但是上传文件时报错，打开 Web 页面可看到 NameNode 正处于 SafeMode 状态，怎么处理？ SafeMode 是 NameNode 的一种特殊状态（A
2020-08-05 01:03:52
243
转载 4.2 HDFS 副本存放策略
任务目的了解 HDFS 副本存放策略的作用 理解 DataNode 网络拓扑图 知晓查看集群机架及其节点情况的命令 熟记 HDFS 副本存放策略任务清单任务1：副本存放策略的作用 任务2：机架感知 任务3：HDFS 副本存放策略基本思想详细任务步骤任务1：副本存放策略的作用 HDFS 作为 Hadoop 中的一个分布式文件系统，而且是专门为它的 MapReduce 设计，所以 HDFS 除了必须满足自己作为分布式文件系统的高可靠性外，还必须为 MapReduce 提供高效的读
2020-08-05 01:03:09
1524
转载 4.1 心跳机制和垃圾回收机制
任务目的了解心跳机制流程 知晓 NameNode 感知 DataNode 掉线死亡的时长计算公式 学会在配置文件中设置心跳机制 掌握开启 HDFS 垃圾回收机制的方法任务清单任务1：Hadoop 心跳机制 任务2：垃圾回收机制详细任务步骤任务1：Hadoop 心跳机制1.1 心跳机制简介 现在有这样一个应用场景： 在长连接下，有可能很长一段时间都没有数据往来。理论上说，这个连接是一直保持连接的，但是实际情况中，如果中间节点出现什么故障是难以知道的。更要命的是，有的节点
2020-08-05 01:02:16
881
转载 3.4 HDFS 的 Shell 操作（二）
任务目的掌握查看 HDFS 文本内容的相关命令 学会往 HDFS 文件中追加内容和合并下载 HDFS 的多个文件到本地文件系统 掌握修改 HDFS 文件权限和拥有者的相关命令 掌握统计指定目录和文件系统信息的方法 学会使用 HDFS Shell 命令修改文件或目录的副本数任务清单任务1：查看文本内容命令 任务2：追加和合并文本内容命令 任务3：修改权限命令 任务4：统计命令 任务5：设置副本命令详细任务步骤任务1：查看文本内容命令1. cat 命令 cat命...
2020-08-05 01:01:09
1347
转载 3.3 HDFS 的 Shell 操作（一）
任务目的掌握 Hadoop 集群管理脚本的使用方式 学会使用help命令查看指定命令的帮助信息 掌握操作 HDFS 文件或目录常用命令的使用方式任务清单任务1：Hadoop 集群管理脚本 任务2：HDFS 管理命令 fs 任务3：操作 HDFS 文件或目录命令详细任务步骤任务1：Hadoop 集群管理脚本 Shell 在计算机科学中俗称“壳”，是提供给使用者使用界面的进行与系统交互的软件，通过接收用户输入的命令执行相应的操作。 $HADOOP_HOME/bin ...
2020-08-05 01:00:10
710
转载 3.2 HDFS 架构
任务目的理解 HDFS 存储架构 熟知 HDFS 4个组成部分的主要职责任务清单任务1：HDFS 存储架构图 任务2：HDFS 组成结构详细任务步骤任务1：HDFS 存储架构图 HDFS采用主从架构（Master/Slave架构），这种架构主要由四个部分组成，分别为HDFS Client、NameNode、DataNode和SecondaryNameNode。 一个HDFS集群是由一个NameNode和多个DataNode组成的。其中，NameNode是HDFS集群的主节点，
2020-08-05 00:58:48
425
转载 3.1 HDFS 简介
任务目的了解传统文件系统到分布式文件系统的演变过程 理解 HDFS 中重要角色的相关概念 理解 HDFS 的优缺点任务清单任务1：HDFS 的演变 任务2：HDFS 的基本概念 任务3：HDFS 特点详细任务步骤任务1：HDFS 的演变 HDFS 源于Google在2003年10月份发表的GFS（Google File System）论文，接下来从传统的文件系统入手，开始学习分布式文件系统，以及分布式文件系统是如何演变而来。 传统的文件系统对海量数据的处理方式是将数据文件
2020-08-05 00:57:12
1414
Damn Vulnerable Web Application (DVWA) Official Documentation
2024-03-20
CSB答辩ppt，1内容总结2 学习心得3课外拓展
2024-03-20
联发科 MT7668AUN, MT7668AEN, MT7668ASN Datasheet
2024-03-08
Introduction to System-on-Chip
2023-06-05
AppleBluetoothInstaller64.exe等等驱动的下载
2023-05-12
bootstrap.min.js.map
2023-05-12
5个常用的停用词表中文停用词表哈工大停用词表百度停用词表四川大学机器智能实验室停中文大全版用词库
2023-05-03
opencv_python-4.5.5-cp38-cp38-win_amd64
2022-08-17
(完整版)数据库系统概论第五版课后习题答案王珊
2022-08-13
打开CSDN文章，自定义打开个数
2022-08-04
豆瓣电影编剧数据.rar
2020-05-01
豆瓣电影导演数据.rar
2020-05-01
豆瓣电影主演数据.rar
2020-05-01
豆瓣电影数据.rar
2020-05-01
阿里Android热修复原理
2018-03-02
阿里巴巴 Android 开发手册正式版
2018-03-02
阿里巴巴 Java 开发手册1.2.0 pdf）
2018-03-02
SSH学习--基础框架
2018-01-24
SVN安装及在eclipse中的使用需要的SVN和eclipse_svn的安装包
2018-01-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人