- 博客(6)
- 收藏
- 关注
原创 python 变量类型
Python变量类型变量存储在内存中的值,这就意味着在创建变量时会在内存中开辟一个空间。基于变量的数据类型,解释器会分配指定内存,并决定什么数据可以被存储在内存中。因此,变量可以指定不同的数据类型,这些变量可以存储整数,小数或字符。变量赋值Python 中的变量赋值不需要类型声明。每个变量在内存中创建,都包括变量的标识,名称和数据这些信息。每个变量在使用前都必须赋值,变量赋值以后该变量才会被创建。等号=用来给变量赋值。等号=运算符左边是一个变量名,等号=运算...
2021-11-21 14:33:15
721
原创 网络爬虫的用途
爬虫可以爬取网页等网络上的信息,实现智能分析推送。全世界世界大部分的爬虫是基于Python开发的,爬虫可为大数据分析、挖掘、机器学习等提供重要且庞大的数据源。1.python爬虫可从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。2.网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间
2021-11-10 10:46:24
3385
原创 Hive 基本操作整理
1.hive模糊搜索表;shou tables like'*name*'2.查看表结构信息:show partitions table_name;desc formatted table_name; desc table_name;3.查看区分信息:show partitions table_name;4.区分查询数据;select table_coulm from table_name where partition_name = ' ';5.查看hdfs文件信息:f.
2021-11-03 09:57:36
119
转载 Scrapy框架
爬虫框架——Scrapy如果你对爬虫的基础知识有了一定了解的话,那么是时候该了解一下爬虫框架了。那么为什么要使用爬虫框架?学习框架的根本是学习一种编程思想,而不应该仅仅局限于是如何使用它。从了解到掌握一种框架,其实是对一种思想理解的过程。 框架也给我们的开发带来了极大的方便。许多条条框框都已经是写好了的,并不需要我们重复造轮子,我们只需要根据自己的需求定制自己要实现的功能就好了,大大减少了工作量。 参考并学习优秀的框架代码,提升编程代码能力。 scrapy框架介绍比较流行的爬虫的框架有s
2021-10-29 07:56:27
417
转载 Windows 10 配置Java 环境变量分类 编程技术
下载 JDK下载地址:Java Downloads | Oracle点击下载按钮:开始安装JDK:可以设置为你想安装的路径。环境变量配置1. 打开 环境变量窗口右键This PC(此电脑) -> Properties(属性) -> Advanced system settings(高级系统设置) -> Environment Variables(环境变量)...2. 新建JAVA_HOME 变量点击New(新建)...按...
2021-09-25 19:16:40
145
转载 如何安装idea
IDEA下载IDEA下载地址,请下载Ultimate版,蓝色下载按钮。选择安装目录,一定要是一个空的文件夹!Next之后直接Install安装完成需要重启电脑重启电脑后首次打开软件,首先会询问是否要导入配置,由于是初次使用,就选择不导入配置。随后软件会询问注册,此时选择“注册码”注册,即刚刚得到的注册码,复制进去即可。随后选择主题,根据个人习惯选择即可。随后选择插件,默认即可,后续可按需卸载&安装
2021-09-18 15:22:14
211
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人