- 博客(43)
- 收藏
- 关注
RSS订阅原创 pyspark 安装记录
2、hadoop-3.3.4 里面的winutils 要记得添加。python 安装 pyspark，Jupyter notebook。# 自己安装 jupyter notebook 使用下面环境变量。cmd 命令行启动pyspark。上面环境不设置会报下面错误。
2024-09-14 16:57:57
400
转载 IIS10.0部署netcor+vue前后端两个HTTPS域名方法IIS配置API接口转发
下面是配置接口转发，重写的目的是为了通过条件/prod-api/(.*)通配符 是否需要跳转接口地址，也就是通过这个通配符来判断地址是前端地址还是后端地址，如果是后端地址就通过这个重写设定跳转到最先面指定的接口地址。图片说明: prod-api这个通配符每个人定义的不一样，来源是你vue项目定义的接口地址一般在 vue.config.js中，可以查找一个 也有做封装配置的，我的是全局配置打包注入的。因为我们的vue运行时，请求的接口地址是不直接暴露在外的，而是通过前端域名+通配符+结果路径组成。
2023-05-23 10:28:12
1260
原创 .net core开源项目记录
本项目适合有一定NetCore和 vue基础的开发人员基于.NET5/.NET7实现的通用权限管理平台（RBAC模式）。整合最新技术高效快速开发，前后端分离模式，开箱即用。代码量少、学习简单、通俗易懂、功能强大、易扩展、轻量级，让web开发更快速、简单高效（从此告别996），解决70%的重复工作，专注您的业务，轻松开发从现在开始！
2023-03-29 10:56:17
1464
转载 Asp.Net_Linq To Sql 语法 子查询 & In & Join
子查询描述：查询订单数超过5的顾客信息查询句法：var 子查询 = from c in ctx.Customerswhere (from o in ctx.Orders group o by o.CustomerID into o where o.Count() > 5 select o.Key).Contains(c.CustomerID)select c;in 操作描述：查询指定城市中的客户查询句法：var in 操作 = from c in ctx.Cus
2022-04-22 10:01:07
462
原创 Abp Vnext EF Core 创建种子数据
种子数据，用于数据迁移，权限管理添加，测试管理using Acme.FirstAbp.Book;using System;using System.Collections.Generic;using System.Linq;using System.Text;using System.Threading.Tasks;using Volo.Abp.Data;using Volo.Abp.DependencyInjection;using Volo.Abp.Domain.Repositor
2022-03-10 11:38:08
427
转载 Windows下安装MySQL详细教程
Windows下安装MySQL详细教程转载 原文链接https://www.cnblogs.com/zhangkanghui/p/9613844.htmlWindows下安装MySQL详细教程 1、安装包下载 2、安装教程 （1）配置环境变量 （2）生成data文件 （3）安装MySQL （4）启动服务 （5）登录MySQL （6）查询用户密码 （7）设置修改用户密码 （8）退出 3、解决问...
2021-03-05 16:07:52
479
转载 scala入门-时间处理
import java.util.Dateimport java.text.SimpleDateFormat1、获取今天日期 def getNowDate():String={ var now:Date = new Date() var dateFormat:SimpleDateFormat = new SimpleDateFormat("yyyy-MM-dd")...
2018-12-29 14:36:16
675
转载 python supervisor】在服务器端，如何一直运行你的python代码
方法1：nohup 命令nohup python *.py &方法2：使用supervisor保持python进程运行Supervisord是一个守护进程的工具，当进程意外终止或服务器掉电起来后，希望进程能够自动运行，supervisord可以很好的为我们做这件事情。同时supervisord也自带监控界面，可以通过浏览器灵活的查看、操作。安装：ubantu:...
2018-12-27 13:27:28
918
转载 数据分析-pandas使用笔记
dates=pd.date_range('20160728',periods=6) #创建固定频度的时间序列df=pd.DataFrame(np.random.randn(6,4),index=dates,columns=list('ABCD')) #创建6*4的随机数，索引，列名称。df2=pd.DataFrame({'A':pd.Timestamp('20160728'),'B':pd....
2018-09-18 18:15:36
288
转载 Python数据可视化：Matplotlib 直方图、箱线图、条形图、热图、折线图、散点图。。。
原文链接：https://blog.csdn.net/kevinelstri/article/details/52938604介绍 使用Python进行数据分析，数据的可视化是数据分析结果最好的展示方式，这里从Analytic Vidhya中找到的相关数据，进行一系列图形的展示，从中得到更多的经验。 强烈推荐：Analytic VidhyaPython数据可视化库Matplo...
2018-05-11 18:14:58
3828
转载 指标权重确定方法之熵权法
本文转自李政毅博客http://blog.sina.com.cn/s/blog_710e9b550101aqnv.html一、熵权法介绍熵最先由申农引入信息论，目前已经在工程技术、社会经济等领域得到了非常广泛的应用。熵权法的基本思路是根据指标变异性的大小来确定客观权重。一般来说，若某个指标的信息熵越小，表明指标值得变异程度越大，提供的信息...
2018-04-20 15:37:13
188584
45
原创 网盘分享视频自动存储
本节为大家介绍百度网盘登录及分享视频自动转存，参考了一些网上案例最后整理出来的，希望对大家有所帮助。工作流程登录网盘获取cookie解析分析视频url，获取一些参数、shareid、from、uk、bdstoken、appid构建url,添加到网盘分析转存urlhttps://pan.baidu.com/share/transfer?shareid=2986040315&from=4010...
2018-04-11 18:33:47
1715
转载 如何用Python实现7种机器学习算法
Python 被称为是最接近 AI 的语言。最近一位名叫Anna-Lena Popkes的小姐姐在GitHub上分享了自己如何使用Python（3.6及以上版本）实现7种机器学习算法的笔记，并附有完整代码。所有这些算法的实现都没有使用其他机器学习库。这份笔记可以帮大家对算法以及其底层结构有个基本的了解，但并不是提供最有效的实现。七种算法包括：线性回归算法Logistic 回归算法感...
2018-04-04 17:13:40
2510
转载 Python3 爬虫中代理的使用方法
学爬虫我们已经了解了多种请求库，如 Requests、Urllib、Selenium 等。我们接下来首先贴近实战，了解一下代理怎么使用。下面我们来梳理一下这些库的代理的设置方法。1. 获取代理在做测试之前，我们需要先获取一个可用代理，搜索引擎搜索“代理”关键字，就可以看到有许多代理服务网站，在网站上会有很多免费代理，比如西刺：http://www.xicidaili.com/，这里列出了很多免费代...
2018-03-28 21:44:50
4043
1
原创 笔记--抓取王者荣耀盒子图片视频
此文章借鉴：https://blog.csdn.net/c406495762/article/details/76850843作者思路很新奇，所以学习测试了一下，可以成功，特意跟大家分享一下。准备工作需要用到工具fiddler抓包工具APP王者荣耀盒子下载fiddler之后设置一下参数 Tools>options勾选这些HTTPS参数在Connections中设置如下，这里使用默认8888端...
2018-03-27 11:08:14
621
原创 笔记-抓取淘宝信息
今天为大家介绍用selenium自动化工具抓取淘宝美食1.直接上代码#coding:utf-8import refrom pyquery import PyQuery as pqfrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.u...
2018-03-25 23:11:19
639
转载 redis 在32位系统安装以及使用及redis-desktop-manager下载
1.下载32位redis文件。 http://pan.baidu.com/s/1eRIZPAE我下载后的路径是：E:\Redis\Redis 里面的文件如图: 2.调取命令窗口 win+R,输入命令：redis-server.exe Redis.conf 看到如下界面说明安装成功。 3.再打开一个窗口做测试。 用自带的客户端工具进行测试 命令【redis-cli.exe】 如图，已经可以使用...
2018-03-23 23:15:03
4407
原创 笔记-多进程抓取猫眼TOP100
今天为大家介绍使用requests模块和正则表达式配合抓取#coding:utf-8from requests.exceptions import RequestExceptionimport requestsimport reimport jsonfrom multiprocessing import Pooldef get_one_page(url): try: ...
2018-03-20 16:01:18
245
原创 笔记-抓取今日头条图片
分析Ajax抓取街拍图片，将url等数据存储为json格式，并把图片保存下来#coding:utf-8import osfrom _md5 import md5from urllib.parse import urlencodeimport refrom bs4 import BeautifulSoupfrom requests.exceptions import Connectio...
2018-03-20 16:01:05
303
原创 笔记-selenium（五）
安装 pip3 install selenium基本使用from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support import expected_c...
2018-03-17 14:03:36
307
原创 笔记-pyquery（四）
安装 pip3 install pyquery初始化字符串初始化html = '''<div> <ul> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html"
2018-03-17 14:03:07
212
原创 笔记-正则表达式（三）
正则表达式常见匹配模式模式描述\w匹配字母数字及下划线\W匹配非字母数字下划线\s匹配任意空白字符，等价于 [\t\n\r\f].\S匹配任意非空字符\d匹配任意数字，等价于 [0-9]\D匹配任意非数字\A匹配字符串开始\Z匹配字符串结束，如果是存在换行，只匹配到换行前的结束字符串\z匹配字符串结束\G匹配最后匹配完成的位置\n匹配一个换行符\t匹配一个制表符^匹配字符串的开头$匹配字符串的末尾...
2018-03-17 14:02:37
311
原创 笔记-requests详解（二）
实例引入import requestsresponse = requests.get('https://www.baidu.com/')print(type(response))print(response.status_code)print(type(response.text))print(response.text)print(response.cookies)各种请求方式im...
2018-03-17 14:02:02
353
原创 笔记-urllib详解（一）
代码笔记，用于查询urlliburlopenurllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)import urllib.parseimport urllib.requestdata = bytes(urllib.parse....
2018-03-16 22:29:50
432
转载 scrapy模拟登陆
模拟浏览器登录start_requests()方法，可以返回一个请求给爬虫的起始网站，这个返回的请求相当于start_urls，start_requests()返回的请求会替代start_urls里的请求Request()get请求，可以设置，url、cookie、回调函数FormRequest.from_response()表单post提交，第一个必须参数，上一次响应cookie的respons...
2018-03-16 17:57:55
392
原创 笔记——scrapy 抓取图片
今天来学习一下使用scrapy对图片的进行抓取1. 创建项目scrapy startproject xiaohuascrapy创建spider文件，取名xiaohua.py2.定义 Itemimport scrapyfrom scrapy.item import Item, Fieldclass XiaohuascrapyItem(scrapy.Item): # define the...
2018-03-16 17:30:47
233
转载 Scrapy笔记- Item Pipeline
当一个item被蜘蛛爬取到之后会被发送给Item Pipeline，然后多个组件按照顺序处理这个item。 每个Item Pipeline组件其实就是一个实现了一个简单方法的Python类。他们接受一个item并在上面执行逻辑，还能决定这个item到底是否还要继续往下传输，如果不要了就直接丢弃。使用Item Pipeline的常用场景：清理HTML数据验证被抓取的数据(检查item是否包含某些字段...
2018-03-15 18:01:45
310
转载 Scrapy笔记-抓取虎嗅网
这篇文章我们通过一个比较完整的例子来教你使用Scrapy，我选择爬取虎嗅网首页的新闻列表。这里我们将完成如下几个步骤：创建一个新的Scrapy工程定义你所需要要抽取的Item对象编写一个spider来爬取某个网站并提取出所有的Item对象编写一个Item Pipline来存储提取出来的Item对象Scrapy使用Python语言编写，如果你对这门语言还不熟，请先去学习下基本知识。创建Scrapy工...
2018-03-15 15:08:10
717
原创 笔记--scrapy 爬取IP 存储到MySQL数据库
本章将讲述爬取IP地址，为后期深入爬虫做准备1.准备工作分析一下我们要抓取那些字段和网页的结构，我们要抓取的是ip地址，端口，服务器地址，速度，存活时间等查看一下网页的结构可以看到要抓取的内容主要在table里面，按照次序抓取即可，最后是存储到数据库中。2.创建项目在终端创建一个项目scrapy startproject collectips创建spider文件cd collectipsscra...
2018-03-15 14:27:43
474
转载 python scrapy 下载文件与图片相关小知识
Scrapy为我们提供了可重用的 item pipelines为某个特定的Item去下载文件。 通常来说你会选择使用Files Pipeline或Images Pipeline。这两个管道都实现了：避免重复下载可以指定下载后保存的地方(文件系统目录中,Amazon S3中)Images Pipeline为处理图片提供了额外的功能：将所有下载的图片格式转换成普通的JPG并使用RGB颜色模式生成缩略图...
2018-03-14 18:08:50
351
转载 scrapy 抓取糗百存储到Excel +MySQL数据库+MongoDB数据库
今天来学习一下用框架抓取糗事百科段子，安装scrapy请参考前面文章，首先创建一个项目,打开终端scrapy startproject qiubai目录下会生成一个qiubai的文件cd qiubai #进入里面scrapy genspider qiubai http://www.qiushibaike.com/8hr/page/1/?s=4984271 #创建spider文件，名字唯一的不能重...
2018-03-14 13:30:11
572
原创 学习笔记--后端弹窗消息
第一步：导入模块from django.contrib import messages#消息闪现，把当前请求返回的消息，展示到下一次请求中例子def permission_add_role_libs(request, name): role = Role.by_name(name) if name == '': messages.error(reques
2018-01-24 00:01:21
810
原创 利用python 发送邮件
#coding=utf-8import tracebackimport smtplibfrom email.mime.text import MIMETextfrom email.mime.multipart import MIMEMultipartfrom email.mime.image import MIMEImagefrom email.header import Heade
2018-01-15 00:57:07
343
转载 学习笔记--Python中subprocess模块的使用
执行命令：[python] view plain copy>>> subprocess.call(["ls", "-l"]) 0 >>> subprocess.call("exit 1", shell=True) 1 测试调用系统中cmd命令,显示命令执行的结果:[python]
2018-01-08 11:29:03
357
原创 学习笔记——12306成功登录（4）
本节代码为登录成功并打印出账户名称#-*-coding:utf-8 -*-import urllib2import urllib# 验证码登录同步import cookielibimport damatuWebimport sslfrom json import loadsfrom cons import station_nameimport timeheader={"
2017-11-04 23:57:38
2506
原创 学习笔记——12306 检测余票（3）
#-*-coding:utf-8 -*-import urllib2import urllib# 验证码登录同步import cookielibimport damatuWebimport sslfrom json import loadsfrom cons import station_name#证书验证ssl._create_default_https_context
2017-11-02 23:25:35
1068
原创 学习笔记——12306 自动通过验证码（2）
在互联网发展的历程中，网站的验证码一直在不断的迭代更新，从最初的直接用字符作为验证码到后来的用字符生成图片，再到后来在验证码图片上加上各种各样的干扰，再到最后面的位置验证码等等，而自动验证从最初的获取验证码字符到后面的识别验证码再到最后12306的这种类型验证码几乎已经很难做到程序自动识别（可以用机器学习方式识别，但是成本很大），所以目前大部分的验证码识别都是通过云打码的方式
2017-11-02 09:55:01
1686
原创 学习笔记——12306 手动登录解析（1）
#-*-coding:utf-8 -*-import urllib2import urllib# 验证码登录同步import cookielibimport ssl#证书验证ssl._create_default_https_context = ssl._create_unverified_context# 请求验证码图片c=cookielib.LWPCookieJar()#生成
2017-11-01 22:02:05
784
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人