大数据组件
Codemind
这个作者很懒,什么都没留下…
展开
-
实训项目- 大数据
文章目录爬虫数据:拉勾和前程无忧前程无忧:拉勾: 爬虫数据:拉勾和前程无忧 前程无忧: 爬取的数据字段有:职位名称、薪资水平、招聘单位、工作地点、工作经验、学历要求、工作内容(岗位职责)、任职要求(技能要求): **1.**编写爬虫程序,并获取相应字段的数据: **2.**在虚拟机中安装scrapy框架,并将项目传到虚拟机中: **3.**运行程序,并查看数据是否下载下来: 拉勾: 爬取的数据字段有:职位名称、薪资水平、招聘单位、工作地点、工作经验、学历要求、工作内容(岗位职责)、任职要求(技能要原创 2020-07-15 00:15:56 · 3429 阅读 · 1 评论 -
sqoop的基本使用 (1)
sqoop的基本使用1. sqoop的基本使用语法:(一)从关系数据库到HDFS上(二)HDFS到关系型数据库中(三)关系数据库到hive中2. 遇见的问题: 1. sqoop的基本使用语法: (一)从关系数据库到HDFS上 需要分区(–split-by ) 语法:sh sqoop import --connect jdbc:mysql://ip:3306/数据库名 --username 用户名 --passwword 密码 --table 表名 --target-dir 'HDFS上的文件夹名' -原创 2020-06-06 16:45:00 · 1319 阅读 · 0 评论