自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 收藏
  • 关注

原创 爬虫·输入和输出

格式化输出:(scrapy框架的时候 excel文件 mysql redis)

2024-07-25 15:35:49 185

原创 爬虫·类型转换和运算符

混合运算时,优先级顺序为:**高于* / % // 高于+ - ,为了避免歧义,建议使用()来处理运算符优先级,并且,不同类型的数字在进行混合运算时,整数将会转换成浮点数进行运算。做取值运算时,取第一个为False的值,如果所有的值都为True,取最后一个值。做取值运算时,取第一个为True的值,如果所有的值都为False,取最后一个值。只有所有的运算符都为False,结果才是False;只要有一个运算数是False,结果就是False;2.布尔类型中,True对应1,False对应0。

2024-07-25 11:24:39 385

原创 爬虫·注释和变量

(1.)定义:对于重复使用,并且需要经常修改的数据,可以定义为变量,变量是可以变化的量,可以随时修改。计算机编程语言中,标识符是用户编程时使用的名字,用于给变量,常量,函数,语句块等命名,以建立起名称与使用之间的关系。多行注释为...代码...,或者选中多行注释后,按住ctrl+/键,使每一行都被#注释。1.数字:int(有符号整型),float(浮点数)格式:变量名 = 变量值(这里的‘=’作用是赋值)1.标识符由字母,数字,下划线组成,且数字不能开头。注释为#,且单行注释写在代码上方或后方。

2024-07-25 08:23:34 283

原创 JAVA_API环境配置

创建一个新目录并返回结果。

2024-04-22 16:26:30 584

原创 HDFS的安全模式和基准测试

用于保证集群中的数据块的安全性。当hdfs集群刚刚启动的时候,hdfs会自动进入安全模式下,此时,Datanode和Namenode会进行块的校验过程,来检查数据块的完整性。对于用户而言,则无法对hdfs进行数据写入操作(删除,修改等),只允许进行查询,默认情况下,hdfs启动到达30s(等待所有的块校验完成)后,会自动退出安全模式。通过Fianlshell进入到hdfs中,将data文件删除(此方法会造成原有的文件全部被删掉)原因:hdfs中块的副本不够,而无法新增,此时系统自动进入安全模式。

2024-04-22 15:44:38 241

原创 HDFS的shell基本命令

HDFS的shell基本命令

2024-04-22 07:26:01 901

原创 HDFS的架构说明

HDFS的架构说明

2024-04-21 11:24:11 353

原创 HDFS的设计目标及其应用场景

HDFS的设计目标及其应用场景

2024-04-21 10:40:44 238

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除