python
sun_0128
这个作者很懒,什么都没留下…
展开
-
使用python读取excel文件并且执行相关操作
# -*- coding = utf-8 -*- #@Time: 2020/12/01 22:42 #@Author: sun_0128 #@File: test.py #@Software: #@Description import xlrd import os #获取目录下所有的文件 def listdir(path, list_name): #传入存储的list for file in os.listdir(path): file_path = os.path.join(原创 2020-12-01 23:25:45 · 451 阅读 · 0 评论 -
PySpark架构及 Jupyter Notebook集成环境搭建
文章目录一.在Linux上安装Anaconda二.PySpark简介三.案例1.数据探索:统计寿命预期数据的整体数据信息2.Spark与Python第三方库混用3.使用PySpark通过图形进行数据探索 一.在Linux上安装Anaconda 下载Anaconda https://www.anaconda.com/distribution/ 命令安装Anaconda,除了vscode选择no其他都选择yes bash Anaconda3-5.1.0-Linux-x86_64.sh #spark集成 #安原创 2020-08-31 09:56:42 · 606 阅读 · 0 评论 -
Python数据爬取
文章目录数据爬取介绍1.数据采集2.常用数据爬取工具二.Scrapy爬虫框架1.安装配置Scrapy框架2.Debug爬虫工程3.Scrapy框架组成4.Scrapy返回爬取页面数据5.爬取动态网页6.网站反爬虫 数据爬取介绍 1.数据采集 数据来源 从网上爬取数据(crawling) 从本地系统收集数据(scraping):文件、数据库等 网络数据采集模型 2.常用数据爬取工具 第三方库实现爬取 Requests、lxml:灵活,简单 PySpider爬虫框架 提供WebUI界面编写及管理爬虫原创 2020-08-26 18:51:27 · 3189 阅读 · 0 评论 -
Python基础及函数
一.python函数 1.内置函数 内置函数 无需导包即可使用的函数 不同版本的Python内置函数可能略有不同 之前已经接触过的内置函数 type()、dir()、input()、print()、id() 各版本内置函数和使用方法参考文档 https://docs.python.org/zh-cn/3/library/functions.html 2.自定义函数 定义函数 def func_name(参数列表): 函数体 [return/yield 函数返回值] Pytho原创 2020-08-25 16:12:19 · 247 阅读 · 0 评论 -
Python环境搭建及Python数据类型
下载Anaconda 在官网上下载安装包 https://www.anaconda.com/distribution/ 命令安装Anaconda Anaconda3-5.1.0-Windows-x86_64.exe 配置环境变量 配置代码提示 运行Python自带Demo 启动演示示例 python –m turtledemo 使用方法 示例代码 执行效果 Python的工程结构 Python工程结构 模块(module) 一个Python文件就是一个模块 .py source code .pyc com原创 2020-08-24 18:30:54 · 320 阅读 · 0 评论 -
使用python爬取豆瓣电影top250相关信息
# -*- coding = utf-8 -*- # @Time: 2020/08/22 16:04 # @Author: sun_0128 # @File: spider.py # @Software: PyCharm from bs4 import BeautifulSoup #网页解析 获取数据 import re #正则表达式,进行文字匹配 import urllib.request,urllib.error#指定url 获取网页数据 import xlwt #进行excel操作 import原创 2020-08-22 22:48:58 · 519 阅读 · 0 评论