503 Rapper-CSDN博客

原创大数据导论复习笔记

文章目录大数据导论第1章大数据概述数据类型、数据组织形式、数据的使用数据类型数据组织形式数据的使用大数据的概念(4V)科学研究四种范式第2章大数据与云计算、物联网、人工智能云计算概念、云计算服务模式和类型五个特征四个部署模型服务模式大数据系统与云安全、云安全及其关键技术物联网概念、物联网三要素、物联网层次架构大数据与云计算、物联网的关系人工智能概念、人工智能关键技术大数据与人工智能的关系第3章大数据技术大数据技术的不同层面及其功能传统的数据采集与大数据采集的区别互联网爬虫基本架构、爬取策略ETL概念数

2020-05-24 16:38:20 14709 6

原创 00 大数据架构课程导论

00 大数据架构课程导论文章目录00 大数据架构课程导论1 大数据发展史2 什么是大数据3 大数据处理需求4 大数据的云中计算5 大数据计算框架6 大数据系统架构1 大数据发展史第三次信息化浪潮信息化浪潮发生时间标志解决问题代表企业第一次浪潮1980年前后个人计算机信息处理Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等第二次浪潮1995年前后互联网信息传输雅虎、谷歌、阿里巴巴、百度、腾讯等第三次浪潮2010年前后物联网、云计

2021-01-27 11:42:49 516

原创大数据存储复习笔记

第一章大数据存储技术概述大数据的特点大数据需要怎样的存储系统第二章分布式数据库系统体系结构基于“中间件”的客户/服务器的体系结构（举例说明）关系型分布式数据库系统的模式结构分布式数据库系统的数据透明性（定义，举例）多数据库系统和分布式数据库系统的区别与联系第三章 HBase 数据结构及读写过程HBase解决了HDFS的哪些问题？具有哪些特点？HBase数据库中region的含义及其特性。同一个表不同行的数据可以存放在不同的服务器，同一个表相同行的数据也可以存放在不同

2021-01-06 15:27:43 1054

原创初识神经网络(MNIST)

1 加载Keras中的MNIST数据集from keras.datasets import mnist(train_images,train_labels),(test_images,test_labels)=mnist.load_data()train_images.shape(60000, 28, 28)train_labels.shape(60000,)train_labelsarray([5, 0, 4, ..., 5, 6, 8], dtype=uint8)2 网络

2020-12-20 17:58:44 355 1

原创 Coursera-ML-AndrewNg-ex2

Programming Exercise 2: Logistic Regression在本次练习中，你将实现逻辑回归并将其应用于两个不同的数据集。在整个练习中，您将使用脚本ex2.m和ex2_reg.m。这些脚本设置了问题的数据集并调用了将要编写的函数1 Logistic Regression在本部分的练习中，您将建立一个Logistic回归模型来预测学生是否被大学录取，假设您是大学部门的管理员，并且您想根据每个申请人的入学机会来确定他们的入学机会。两次考试的结果。您拥有以前申请人的历史数据，可以

2020-11-05 22:50:19 359 2

原创 Coursera-ML-AndrewNg-ex1

Programming Exercise 1: Linear Regression在本次练习中,你将实现线性回归并了解它的工作原理。目标是要运行脚本ex1.m和ex1_multi，为此你需要修改其他文件的函数1 Simple MATLAB function在程序中填空来实现返回一个5X5的单位矩阵这只是一个热身程序warmUpExercise.mfunction A = warmUpExercise()%WARMUPEXERCISE Example function in octave%

2020-10-19 17:31:01 164 1

原创监督学习：简单线性回归

监督学习：简单线性回归为散点数据集(x,y)拟合一条曲线import matplotlib.pyplot as pltimport seaborn as snssns.set();import numpy as nprng = np.random.RandomState(42)x = 10 * rng.rand(50)y = 2 * x - 1 + rng.randn(50)plt.scatter(x, y);1.选择模型类：在 Scikit-Learn 中，每个模型类都是一个 P

2020-06-16 21:12:05 211

原创 EduCoder Python计算思维训练——绘图进阶第2关：商品房销售价格统计图（二）

任务描述本关任务：请编写代码绘制各类商品房平均销售价格柱状图。相关知识为了完成本关任务，你需要掌握绘制堆积（并列）柱状图。绘制堆积柱状图bar函数调用方式如下所示：matplotlib.pyplot.bar(x, height, width=0.8, bottom=None, *, align='center', data=None, **kwargs)要想绘制堆积柱状图，可通过设置第一个参数x的值来使得柱形错位显示，x的每一个元素表示柱形的中间位置，示例代码如下所示：.

2020-06-09 12:03:46 3025

原创银行家算法

利用银行家算法避免死锁最有代表性的避免死锁的算法，是 Dijkstra 的银行家算法。这是由于该算法能用于银行系统现金贷款的发放而得名的。为实现银行家算法，系统中必须设置若干数据结构。1.银行家算法中的数据结构(1) 可利用资源向量 Available。这是一个含有 m 个元素的数组，其中的每一个元素代表一类可利用的资源数目，其初始值是系统中所配置的该类全部可用资源的数目，其数值随该类资源的分配和回收而动态地改变。如果 Available[j]=K，则表示系统中现有 R j类资源K 个。(2) 最大

2020-06-05 21:32:25 2410

原创操作系统复习笔记

6.2~6.12 每天复习一点儿，仅供参考文章目录第一章概论1.操作系统的功能2.操作系统的特征3.多道程序设计第二章进程管理第三章内存管理第四章设备管理第五章文件管理第一章概论1.操作系统的功能进程管理存储管理文件管理设备管理网络通信与服务安全与防护2.操作系统的特征并发性：两个或多个程序在同一时间间隔内发生、同时处于活跃的状态的特性共享性：指资源共享。多个并发的程序可以共享计算机的硬件和软件资源随机性：每道程序执行在何时执行、各个程序执行的顺序以及每道程序所

2020-06-03 09:39:32 1068

转载转载：吐血推荐，B站最强学习资源汇总（数据科学，机器学习，Python）

转载：大数据DT吐血推荐，B站最强学习资源汇总（数据科学，机器学习，Python）大数据DT 4/23The following article is from 数据派THU Author 数据派数据派THU发布清华校内相关科研动态、教学成果及线下活动导读：本文整理一波B站上关于数据科学、人工智能领域的学习资料和值得关注的up主，欢迎大家收藏转发哦～来源：数据派THU（ID：DatapiTHU），编辑：于腾凯，校对：洪舒越经过这几个月的居家隔离，想必大多数同学都开始习惯通

2020-06-02 13:15:04 1641

原创 EduCoder Pandas高效化运算与时间序列处理第3关：Pandas时间序列的高级应用

文章目录任务描述相关知识时间频率与偏移量重新取样、迁移和窗口重新取样时间迁移移动时间窗口编程要求测试说明任务描述根据相关知识完成下列任务：求上个季度（仅含工作日）的平均值；求每个月末（仅含工作日）的收盘价；迁移数据365天；求一年期移动标准差。相关知识学习本关卡知识之前，建议先了解matplotlib模块基础知识。Pandas时间序列工具的基础是时间频率或偏移量代码。就像之前见过的D（day）和H（hour）代码，我们可以用这些代码设置任意需要的时间间隔。Pandas频率代码表如.

2020-05-26 19:22:39 1982

原创 EduCoder Pandas合并数据集第三关：案例：美国各州的统计数据

文章目录任务描述编程要求测试说明任务描述本关为练习关卡，请按照编程要求完成任务，获取美国各州2010年的人口密度排名。编程要求使用read_csv()函数读取step3文件夹中的state-population.csv（pop）、state-areas.csv(areas)、state-abbrevs.csv(abbrevs)文件；合并pop和abbrevs。我们需要将pop的state/region列与abbrevs的abbreviation列进行合并，还需要通过how='outer'.

2020-05-26 11:19:04 5742

原创 EduCoder Pandas合并数据集第二关：合并与连接

文章目录任务描述相关知识数据连接的类型merge()的主要参数测试说明任务描述本关任务：使用pandas中的merge()函数按照编程要求合并三份数据。相关知识merge()可根据一个或者多个键将不同的DataFrame连接在一起，类似于SQL数据库中的合并操作。参数名说明left拼接左侧DataFrame对象right拼接右侧DataFrame对象on列(名称)连接，必须在左和右DataFrame对象中存在(找到)。left_on左侧DataFr.

2020-05-26 10:53:45 6338

原创 EduCoder Pandas合并数据集第一关：Concat与Append操作

文章目录任务描述相关知识合并时索引的处理join和join_axes参数append()方法编程要求任务描述本关任务：使用read_csv()读取两个csv文件中的数据，将两个数据集合并，将索引设为Ladder列，并将缺失值填充为0。相关知识在Numpy中，我们介绍过可以用np.concatenate、np.stack、np.vstack和np.hstack实现合并功能。Pandas中有一个pd.concat()函数与concatenate语法类似，但是配置参数更多，功能也更强大，主要参数如下。.

2020-05-26 10:03:26 6012

weixin_43608722的博客