- 博客(15)
- 收藏
- 关注
RSS订阅原创 【python爬虫学习笔记】二、Scrapy框架的基本使用
Scrapy项目的创建安装scrapy包pip install scrapy在Pycharm中使用命令行创建项目scrapy startproject [项目的名称]windows 下可以使用tree /F 命令查看目录在spiders目录下创建一个爬虫scrapy genspider[你的爬虫文件名] [限定爬虫的范围]测试运行 import scrapy class SpidertestSpider(scrapy.Spider): # 爬虫
2022-03-06 15:05:06
498
原创 【数据结构学习（Java）】单链表的实现
Java 手写实现链表功能个人手写，可能存在不足之处，欢迎各位斧正。不说废话直接上代码。public class MyList { private MyNode head; public MyList() { head = new MyNode(null,null); } // 清空链表 public void clear(){ head.item = null; head.next = null; }
2022-03-04 10:09:41
252
原创 【python爬虫学习笔记】一、requests和json模块的使用
requests和json模块的使用requests主要方法和参数例子：化妆品许可信息爬虫requests主要方法和参数主要方法GET： 请求指定的页面信息，并返回实体主体。HEAD： 只请求页面的首部。POST： 请求服务器接受所指定的文档作为对所标识的URI的新的从属实体。PUT： 从客户端向服务器传送的数据取代指定的文档的内容。DELETE： 请求服务器删除指定的页面。 requests.post() requests.put() requests.delete() re
2022-02-21 11:36:12
2282
原创 Pandas数据分析笔记（二）
1.DataFrame更改数据通过loc方法定位到更改的行列，直接写入值覆盖import pandas as pdimport numpy as npdata = pd.read_csv("D:/DataSet/Demo/iris.csv",encoding="utf-8",names=['Sep_len', 'Sep_wid', 'Pet_len', 'Pet_wid', 'Iri...
2019-05-15 14:59:49
360
原创 Pandas 数据分析笔记(一)
一、DataFrame数据操作1.新增列数据添加一个索引列，对该索引下的数据进行赋值增加通过cloumn[‘name’] = …列数要相同演示代码:import pandas as pdimport numpy as np# names标签可以给没有列名的数据添加列名data = pd.read_csv("D:/DataSet/Demo/iris.csv",encoding...
2019-05-15 11:33:56
205
转载 Hadhoop学习笔记（二）
Hadoop核心之分布式文件系统HDFS参考：https://www.cnblogs.com/maybe2030/p/4593190.htmlHadoop分布式文件系统（Hadoop Distributed File System，简称HDFS）是Hadoop的核心模块之一，它主要解决Hadoop的大数据存储问题，其思想来源与Google的文件系统GFS。HDFS的主要特点：保存多个副本，且...
2019-05-14 14:14:01
1091
原创 Hadoop学习笔记（一）
1. 什么是Hadoop平台Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高...
2019-05-14 12:06:01
171
转载 Python字符串操作之字符串分割与组合
12、字符串的分割和组合 12.1 str.split()：字符串分割函数 通过指定分隔符对字符串进行切片，并返回分割后的字符串列表。 语法： str.split(s, num)[n] 参数说明： s：表示指定的分隔符，不写的话，默认是空格(’ ‘)。如果字符串中没有给定的分隔符时，则把整个字符串作为列表的一个元素返回。 num：表示分...
2019-05-14 10:08:13
536
转载 Python With... as 的用法
这个语法是用来代替传统的try...finally语法的。 with EXPRESSION [ as VARIABLE] WITH-BLOCK 基本思想是with所求值的对象必须有一个__enter__()方法，一个__exit__()方法。紧跟with后面的语句被求值后，返回对象...
2019-05-14 09:47:29
145
转载 数据可视化--Superset使用示例
1.Superset的功能介绍1、我们可以通过连接数据库，去对数据库中的单个表进行配置，展示出柱状图，折线图，饼图，气泡图，词汇云，数字，环状层次图，有向图，蛇形图，地图，平行坐标，热力图，箱线图，树状图，热力图，水平图等图，官网上是不可以操作多个表的，不过我们可以操作视图，也就是说在数据库建好视图，也可以在superset中给表新增一列进行展示。2、配置好了我们想要的图表之后我们可以把它添加...
2019-05-13 13:54:11
3403
1
原创 Superset学习笔记（三）
创建 Country Map 图表新建Country Map表在Charts界面上，单击右上角附近的绿色加号：进入到Charts设置界面，只需要两条信息就可以向Superset添加空白图表：选择数据源。即选择制作 Country Map 图表的源数据（这里选择birth_france_by_region）。选择可视化类型。即选择需要制作图表的类型（这里选择Country Map）。...
2019-05-13 13:01:54
1498
5
原创 Superset学习笔记（二）
添加数据表在 Sources 菜单下，选择Tables选项：进入到Tables界面：在Tables界面中，能看见当前已导入到 superset 中的所有表格。包括：表名称、所属数据库、修改用户、修改时间等信息。在Tables界面上，单击右上角附近的绿色加号：进入到表格设置界面：接下来，根据自己需求设置新表信息。...
2019-05-13 11:52:55
1134
原创 Superset学习笔记（一）
Superset概述Superset（Caravel）是由Airbnb（知名在线房屋短租公司）开源的数据分析与可视化平台（曾用名Caravel、Panoramix），该工具主要特点是可自助分析、自定义仪表盘、分析结果可视化（导出）、用户/角色权限控制，还集成了一个SQL编辑器，可以进行SQL编辑查询等。数据库连接1. 创建管理员账户fabmanager create-admin --ap...
2019-05-13 10:58:27
3993
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人