weixin_47366863的博客

基础篇——tcp/ip网络模型文章目录基础篇——tcp/ip网络模型前言一、 应用层（Application Layer）1.概念二、传输层（Transport Layer）1.概念/功能2.两个传输协议（TCP/UDP）a.TCPb.UDP总结前言计算机网络的本质活动:是实现分布在不同地理位置的主机之间的进程通信,以实现应用层的各种网络服务；通用网络协议的由来：同一设备上进程间通信有多种方式，eg：管道、消息队列、共享内存、信号…；不同设备上进行进程通信，设备具有多样性，网络通信要兼容多

作为一名大数据专业的学生，在学好大数据的同时，云计算也同等重要，二者相辅相成，大规模数据的运算离不开计算资源1，这也就导致了大数据离不开云计算这一现象；大数据是云计算的应用案例之一，云计算是大数据的实现工具之一。云计算是一种技术解决方案，利用这种技术可以解决计算、存储、数据库等一系列IT基础设施的按需构建的需求。本文章主要是学习云计算的基础知识，在学习云计算之前，先回顾一下大数据的基础知识。狭义的云计算：指IT基础设施的交付和使用模式，即通过网络按需求、扩展的方式获得所需的资源。

目录一. 提问：如果一个文件的大小超过了一张磁盘的大小，你该如何存储？二. 针对大规模数据储存要解决的三个核心问题三. 关于RAID1. 概念2. 目的3. 常用RAID技术4. RAID解决关于存储的三个关键问题5. 思考题四. 垂直伸缩与水平伸缩1.垂直伸缩（scaling up）2. 水平伸缩（scaling out）五. 关于HDFS一. 提问：如果一个文件的大小超过了一张磁盘的大小，你该如何存储？解答：单片机时代，主要解决方案是RAID；分布式时代，主要解决方案是分布式文件系统；二.

目录一. 本文核心观点二. 课后思考及问题问题1. 什么是大数据？“大”是多大？2. 为什么会出现大数据？3. 处理大数据的老思路是啥？4. 处理大数据的新思路是啥？5. 老思路为啥走不通了？6. 新思路为啥走的通？7. 新思路带来了那些新问题？8. 这些新问题的解决思路是啥？9. 如何解决PB级数据进行计算的问题呢？9. 移动计算程序到数据所在位置进行计算是如何实现的呢？一. 本文核心观点移动计算比移动数据更核算二. 课后思考及问题问题1. 什么是大数据？“大”是多大？数据——计算机处理的基本

数据采集及预处理文章目录数据采集及预处理前言一、 数据二、 采集1.系统日志采集2.网络数据采集3.ETL三. 预处理总结前言一、 数据在计算机系统中，各种字母、数字符号的组合、语音、图形、图像等统称为数据，数据经过加工后就成为信息。数据（data）是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的的原始素材。数据是信息的表现形式和载体，可以是符号、文字、数字、语音、图像、视频等。数据和信息是不可分离的，数据是信息的表达，信息是数据的内涵。数据本身没有意义，数据只

学习目标：1.操作字典之fromkeys()方法的使用2.python四种方法实现去除重复元素3.map()函数学习及lambda表达式学习4.格式化输出及print格式化输出学习内容：1.fromkeys()方法的使用fromkeys()方法从序列键和值设置为value来创建一个新的字典。语法：dict.fromkeys(seq[ , value])参数：seq – 这是将用于字典的键准备的值的列表value – 这是可选的，如果提供的话则值将被设置为这个值

python进制转换前言一、基本进制类型1.bin()函数2.oct()函数3.int()函数4.hex()函数二、进制之间的转换关系1.二进制转换其他进制2.八进制转换其他进制3.十进制转换其他进制4.十六进制转换其他进制三、去前缀方法1.使用字符串切片2.运用format()函数格式化数字总结前言原理：python内置函数进行进制转换的原理是将读入的一个字符串(python默认读入的都是字符串形式)转为10进制，然后再用相关函数进行其他进制转换其中关于各进制之间的转换关系的学习，接下来我将较为详细