- 博客(15)
- 收藏
- 关注
RSS订阅原创 Python测试框架unittest笔记一
什么是unittest？unittest 是 Python 自带的类 Junit 单元测试框架unittest 支持测试用例/测试用例集的查找、组装，还可以在测试用例/测试用例集内共享数据，也支持根据条件筛选测试用例执行，以及自动化生成测试报告。unittest 核心组成：Test Fixture做测试用例的准备清理工作；Pytpython 通过 setUp()、tearDown()、setUpClass()、tearDownClass() 这 4 个钩子函数（Hook）来实现测试的准备和清理工
2021-06-20 23:09:12
289
4
原创 大数据技术学习笔记五--HDFS客户端操作
HDFS架构NameNode(nn)集群的管理者Master（元数据文件名称，大小，副本数，位置等）负责client的读写请求维护管理hdfs的名称空间维护副本策略客户端：上传文件到HDFS的时候，负责文件的切分–block；向DataNode读/写数据；与namenode交互主要获取文件block的位置信息）可以用命令管理hdfs或者访问hdfsdatanode：实际存储block数据负责block的读写数据...
2021-06-08 22:49:10
228
4
原创 大数据技术学习笔记四：HDFS分布式文件系统
HDFS是什么？全称：Hadoop Distribute File System，Hadoop 分布式文件系统）是 Hadoop 核心组成，是分布式存储服务。在大数据中，为存储和处理超大规模数据提供所需的扩展能力。是分布式文件系统中的一种；而且使用的是最多的一种概念：HDFS的架构典型的Master/Slave结构往往是NameNode(HA架构会欧两个NameNode，联邦机制) +多个DataNode组成；NameNode是集群的主节点，DataNode是集群的从节点。两者互相合作分块
2021-06-07 23:06:24
113
4
原创 大数据技术学习笔记三--Apache Hadoop
Apache Hadoop组成Hadoop HDFS：（Hadoop Distribute File System ）一个高可靠、高吞吐量的分布式文件系统处理的状态简述：将数据进行切割， 为防止数据出现问题，则制作副本，分散存储NameNode（nn）：存储文件的元数据，比如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。（NameNode相当于管理和维护元数据；元数据记录了文件的块列表以及块所在的DataNode节点信息，如同maste
2021-05-31 22:20:38
350
4
原创 大数据学习笔记二--hadoop简介
Hadoop 是一个适合大数据的分布式存储和计算平台。狭义：Hadoop就是一个框架平台广义：p代表大数据的一个技术生态圈，包括很多其他软件框架Hadoop特点：扩容能力：在计算机集群内分配数据并完成计算任务，集群可以扩展到超多节点低成本:可以通过普通机器组成服务器集群来分发处理数据高效率：可以在节点之间动态并行的移动数据，速度提升可靠性：能自动维护数据的多份复制，在任务失败后能自动的重新部署，并计算任务版本：Apache Hadoop 原始版本优点：开源免费，拥有开源的贡献，代码更新版
2021-05-31 21:45:29
169
原创 大数据技术学习笔记一
大数据技术主要用来解决：主要是海量数据的存储和计算一般用在无法在一定时间内使用常规软件工具进行处理，需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产大数据的特点：大量采集、存储和计算的数据量都非常大计算机存储单位一般用B，KB，MB，GB，TB，PB，EB，ZB，YB，BB、NB、DB来表示；以1024为进制高速在大数据时代，数据的创建、存储、分析都要求被高速处理，比如电商网站的个性化推荐尽可能要求实时完成推荐，这也是大数据区别于传统数据挖掘的
2021-05-31 21:27:54
145
原创 使用Python快速处理Excel操作笔记四：表格数据缺失值与异常值的处理
1、缺失值当读取csv文件或者excel文件生成DataFrame时，某些单元格的数据是缺失的，缺失的部分会显示为NaN,None或者NaT（取决于单元格的数据类型）NaN 表示数字类型的缺失值NaT 表示时间类型的缺失值None 表示字符串类型的缺失值实际项目中，如果缺失值一直存在原始的数据源总，后续数据分析时很可能有错误的结果需要根据实际情况进行抉择，来降低缺失值对于分析结果的影响a 按单元格查看缺失值情况使用isna函数# 假设data_info为已经读取为DataFrameda
2021-05-22 22:23:31
9059
原创 使用Python快速处理Excel操作笔记三：基本操作增删改查
使用Python快速处理Excel操作笔记三：基本操作增删改查、排序1、读取excel表格并增加行index_info = ['姓名', '年龄', '居住地', '薪资']df = pd.read_excel(filename)ser_data = pd.Series(['夏利', 27, '河北', 20000], index=index_info)all_info = df.append(ser_data, ignore_index=True)pandas读取excel生成的df是Dat
2021-05-22 20:20:04
786
原创 Java笔记一（版本、安装注意、简单编程）
Java版本、安装注意、简单编程一、Java版本1、Java SE 为java平台标准版 桌面应用2、Java EE 为Java平台企业版，是在Java SE的基础上，用于构建企业级的应用；比如 电信计费系统，银行网银系统，企业客户关系管理系统等等3、Java ME为Java平台微型版，之前是3G移动智能平台，以Java为核心的编程语音，塞班系统为众多；随着Android智能平台普及，Java Me走向淘汰。二、Java安装包内容和注意内容和配置1、安装内容:JDK是Java开发工具包
2020-11-03 09:32:43
115
原创 同步局域网内电脑时间
同步局域网内电脑时间在使用很多的电脑调试时，使用时间戳来同步进行记录log对比看各个时间点的情况，如果只是用网络同步时间一般就能同步到分钟数，秒数的时间可能会有1-5秒甚至更多的偏差，这是可以用下面的方法进行同步：下面命令会以一台电脑的时候为基准进行同步，基准电脑我设置为A，其他的我设置为B，首先获得A电脑的ip的地址，例如：\192.168.150.xx还需要获得A电脑登陆密码，例如：helloworld则进入电脑B，使用管理员权限调出CMD串口（一定是管理员权限，如果不是会失败）然后输入指令
2020-07-30 15:12:07
1962
原创 机器学习入门笔记一：基本概念的理解
机器学习入门笔记一：基本概念的理解在机器学习中有常用的有两个方法：有监督学习和无监督学习。一、有监督学习有监督学习是通过训练数据集(比如语音类已知数据，视频图像类已知数据)，进行建模，然后用出来的模型对新的数据进行分类或者回归分析的方法；使用的训练的数据集都是已经分好类和标记，借助不同的算法对新的数据进行分类。目前该方法已经应用在很多的领域。分类：对新的数据进行分开预测为各个类，判定数据...
2020-05-05 20:14:06
234
原创 使用Python快速处理Excel操作笔记二:进行数据的筛选和部分内容的修改
使用Python快速处理Excel操作笔记二:进行数据的筛选和部分内容的修改1、筛选表格中去除某一列包含的内容：例如：import pandas as pddf = pd.read_excel(filename, usecols=['city', 'data', 'info'])df = df[~df['info'].str.contains('河北|河南')] # 该操作将‘info...
2020-05-05 18:08:00
2459
原创 使用Python快速处理Excel操作笔记一：获取Excel里面的信息
**提升数据处理能力之一：使用Python快速处理Excel操作笔记一：获取Excel里面的信息**现在在各个公司中都掀起了学习python编程的热潮，只为了将枯燥反复的工作快速完成，而且减少操作中的失误。特别是excel的处理，如果没有对excel很深的知识积累，只能依靠复制和粘贴，再就是手动的筛选，效率很低。现在赶紧学习python处理excel知识来解放吧！！！！由于本人也是粗浅的了...
2020-05-05 17:46:56
566
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人