执着的风声-CSDN博客

原创 Python爬虫--豆瓣电影top信息分页爬取demo

2、分析请求网址，可以看出start为0，limit为20。在页面继续下拉后新的请求网址start变为20，limit还是20。这样就分析出了start会变，每次增加20，limit不变每次显示20条电影信息。注2：此爬虫使用urllib完成，因页面返回数据为json，需要找到对应的js。3、代码开发，可以将start和limit作为参数拼接到ur链接后，start通过键盘输入计算可以每次增加。1、百度搜索豆瓣电影，进入后点击F12查找页面数据返回内容。注1：只是用来简单练习，无频繁且恶意请求。

2023-08-24 10:42:58 502 1

原创 Python爬虫--豆果网美食爬取demo，使用xpath库爬取,保存数据到excel

注2：此爬虫使用urllib和xpath库完成，页面数据都在html标签中。基础爬取，无需登录及验证码输入。1、百度打开上方链接进入网站，点击F12打开查找元素。注1：只是用来简单练习，无频繁且恶意请求。5、运行代码，结果保存在本地项目中。2、导入xpath库。

2023-08-24 09:59:35 314 1

原创 Python爬虫--爬取淘宝热卖demo,最后保存数据到excel,根据输入开始页码结束页码爬取

3、爬取数据需要提取url、User-Agent、Cookie。需要复制到代码中，时间太久Cookie会失效，出现令牌过期，只需要获取新的url和Cookie就行。2、按F12 打开网络(network)，查找到对应包含页面数据的js，可点击预览和响应查看返回的数据格式，检查返回的数据是否与页面一致。4、代码开发，运行后输入起始和结束页码，可爬取数据到excel。注2：此爬虫使用urllib库完成，页面返回数据为json。注1：只是用来简单练习，不会频繁且恶意请求。

2023-08-23 18:04:50 824 1

原创 Msql 天地图坐标转高德坐标 (WGS84转GCJ02)

-- 天地图转高德 SELECT -- 经度 xlongitude + (((300.0 + (xlongitude - 105.0) + 2.0 * (ylatitude - 35.0) + 0.1 * (xlongitude - 105.0) * (xlongitude - 105.0) + 0.1 * (xlongitude - 105.0) * (ylatitude - 35.0) + 0.1 * sqrt(abs((xlongitude - 105.0))) + (20.0 ..

2022-05-18 09:51:46 1317

原创 Mysql 高德转天地图经纬度sql ,高德地图GCJ-02火星坐标系与GPS的WGS-84坐标系转换

-- mysql高德转天地图SELECT -- 经度xlongitude * 2 -(xlongitude + (((300.0 + (xlongitude - 105.0) + 2.0 * (ylatitude - 35.0) + 0.1 * (xlongitude - 105.0) * (xlongitude - 105.0) + 0.1 * (xlongitude - 105.0) * (ylatitude - 35.0) + 0.1 * sqrt(abs((xlongitude - .

2022-05-10 16:39:44 1238

原创 Python3 高德地图GCJ-02火星坐标系与GPS的WGS-84坐标系转换（WGS-84可用作天地图坐标，误差很小）

#!/usr/bin/python# -*- coding: UTF-8 -*-import pandas as pdimport jsonimport mathimport osimport csvx_pi = 3.14159265358979324 * 3000.0 / 180.0pi = 3.1415926535897932384626 # πa = 6378245.0 # 长半轴ee = 0.00669342162296594323 # 扁率def gcj02towg.

2022-05-10 16:30:49 1917

原创 java 使用Spring工具类DigestUtils生成MD5

调用http接口时，sign 参数需要将appKey+requestId+long类型时间生成md5（小写）下面将使用Spring自带的工具类生成md5（原因简单），不用自己编写md5工具类只需一行代码即可：String md5Str = DigestUtils.md5DigestAsHex("str".getBytes());以下是完成代码：一：创建实体类：package com.example.demo.mon;public class SingCode { p

2021-10-30 21:21:49 2888

原创 java 接口开发【包括响应状态】

工具：idea，maven，mysql5.7第一步：创建数据库，创建表，添加数据CREATE TABLE `user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `userName` varchar(32) NOT NULL, `passWord` varchar(50) NOT NULL, `realName` varchar(32) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB DEF

2021-10-21 23:07:40 264

原创 MySql表分区语法

MySql表分区语法：range分区:create table t1(id int,name varchar(20),age int)partition by range(age)(partition p01 values less than(10),partition p02 values less than(20),partition p03 values less than(30),partition p04 values less than(maxvalue));

2021-05-24 15:48:50 143 1

Dawn_G的博客