小美学python-CSDN博客

原创【网络爬虫和数据处理】---selenium 第一章【基础篇】

【网络爬虫和数据处理】---selenium第一章 selenium基础selenium简介Selenium安装：Selenium操作：1.安装Selenium依赖库2.配置Web驱动3.常见Selenium命令演示4.使用导航按钮访问页面5.使用条件命令进行操作6. 隐式等待法7.显式等待法8. 操作输入框和文本框9.使用单选框和复选框10. 操作下拉列表11. 快速访问链接12.处理弹出框和警告框第一章 selenium基础selenium简介Selenium 是使用最广泛的开源 Web UI

2022-03-14 15:45:16 1897

原创【大数据框架及实战1】---第一章 spark基础课

【大数据框架及实战】---spark基础课第一节 spark简介1. spark是什么？2. spark架构图3. spark的安装下载安装步骤如下：第二节 spark的RDD（弹性分布式数据）第一节 spark简介1. spark是什么？1.apache spark是一个统一的计算引擎和一组类库，使用spark处理数据比传统方式快100倍。2.并不是单台电脑上spark比python快100倍，主要是spark主要用在计算机群集（集群对程序来说不是3个 5个的机器，而是一个大机器，由集群软件实现）

2021-12-28 21:15:35 1514 1

原创【大数据框架及实战2】---初识

【大数据框架及实战】---数据集第一节数据从哪里来数据怎么用本项目使用的数据结构化和非结构数据结构表的特征提取和呈现攀登数据分析金字塔第一节数据从哪里来数据怎么用本项目使用的数据飞机出行是现代生活中不可缺少的一部分飞机出行是现代生活中不可缺少的一部分许多航班数据可以免费获取。航班准点数据集是有点“大”的数据集，每年约有1-10个GB的数据集，虽然和真正的大数据相比还有点小，但是在单台个人电脑上处理这些已经可以被称为 “大”数据了。95%的出发地在美国的航班记录数据都可以在美国交通

2021-10-07 17:50:12 439 2

原创【数据分析师-数据分析项目案例一】600w+条短租房数据案例分析

【数据分析师-数据分析项目案例一】短租房数据案例分析1 前言1.1 数据集来源1.2 数据分析思路1.2.1 ETL四板斧1.2.2 数据可视化招数1.2.3 数据集合的转变1.2.4 模型2 数据实操2.1 数据的加载和基本ETL2.2 利用数据可视化进行第一轮分析.2.2.1 每天房屋的入住率2.2.2 一年当中价格的走势变化以月为单位以周为单位2.2.3 房屋的社区分布情况2.2.4 房屋的评分情况2.2.5 房屋的价格情况2.2.6 不同社区与房源价格的关系2.2.7 高级房和

2021-09-25 19:20:41 1382 1

原创第二章【数据分析师---数据可视化3】 Plotly绘图进阶篇（地图和动态图的绘制）

数据分析可视化---Plotly进阶篇第一节地图的绘制1.使用choropleth绘制地图信息软件安装2.使用geojson功能绘制地理区域3.使用choroplethmapbox绘制漂亮的地图第一节地图的绘制1.使用choropleth绘制地图信息软件安装安装组件!pip install GDAL-3.1.4-cp37-cp37m-win_amd64.whlShapely-1.7.1-cp37-cp37m-win_amd64.whlFiona-1.8.18-cp37-cp37m-win_

2021-08-15 19:48:02 1199

原创第二章【数据分析师---数据可视化2】 Plotly绘图基础篇

第一节什么是Plotlymatplotlib画的是静态的图片，与人没什么交互。plotly提供了高度交互式界面，便于做出更有吸引力的统计图表。在web开发、机器学习以及量化投资方面也有很好的应用场景。安装使用安装pip install plotly查看使用版本print (plotly.__version__)使用之前的matplotlibimport matplotlib.pyplot as plt现在的plotlyimport plotly#plotly.offline

2021-08-14 18:25:32 541

原创第一章【数据分析师---数据可视化1】 matplotlib 静态图，无互动

数据分析可视化第一章第一节 matplotlib第二节绘制折线图color的选择一张图中绘制两条线：图片保存风格样式fmt格式第三节绘制柱状图第四节绘制直方图第五节绘制堆叠图功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入

2021-08-08 17:02:55 660

转载 xpath helper

引语在爬虫各个应用场景下，数据解析为其中重要的一环。而在数据解析中，BeautifulSoup、Xpath以及正则表达式等多种方法均为利器，在实际应用中根据不同场景选择不同的方法是最高效的，但是对各个方法的掌握程度要求很高。事实上，精通一种方法就已经满足需要了，再此基础之上，用辅助工具帮助理解提高效率。本文将提供给“爬虫大师们”使用xpath方法的辅助工具XPath Helper插件。XPath Helper简介XPath即为XML路径语言，它是一种用来确定XML(标准通用标记语言的子集)文档中某

2021-07-07 15:30:04 1143

原创 python excel pandas一对多多行合并为一行

在工作中，我遇到了类似上图这样的问题，需要分组，并把最后一组的写为一行。import pandasa=pandas.read_excel("test.xlsx",engine='openpyxl')def abc(x): return ','.join(x.values) #如果有数字用return "，".join('%d' %id for id in x.values)b=a.groupby(['列1的列名','列2的列名...

2021-06-19 19:41:54 2754

原创二叉树的镜像

import java.util.LinkedList; public class MirrorTest { //递归 public void Mirror(TreeNode root) { if(root == null) return;

2017-09-28 22:30:03 162

原创删除链表中重复的元素

public ListNode deleteDuplication(ListNode pHead) { if(pHead == null){ return null; } ListNode p = pHead;//存储当前结点的前趋 ListNode q; q = pHead.next

2017-09-28 21:55:39 208

原创求二叉树的深度递归非递归

public int findDeep1(BiTree root) { if(root == null) { return 0; } else { int lchilddeep = findDeep1(root.left);//求左子树的深度

2017-09-28 21:25:51 633

原创在一个字符串(1<=字符串长度<=10000，全部由字母组成)中找到第一个只出现一次的字符,并返回它的位置

import java.util.HashMap;public class Solution { HashMap map = new HashMap public int FirstNotRepeatingChar(String str) { if (str==null)return -1; int length = str.leng

2017-09-28 21:03:50 740

原创连续子数组的最大和

package JJ;public class Main17 { public static void main(String[] args) { int[] arr={6,-3,-2,7,-15,1,2,2}; int result=FindGreatestSumOfSubArray(arr); System.out.println(result); } public

2017-09-28 20:03:53 154

原创数据库

对所有员工的当前(to_date='9999-01-01')薪水按照salary进行按照1-N的排名，相同salary并列且按照emp_no升序排列CREATE TABLE `salaries` (`emp_no` int(11) NOT NULL,`salary` int(11) NOT NULL,`from_date` date NOT NULL,`to_date` dat

2017-08-20 21:42:30 405

原创数据库连接的步骤

JDBC连接数据库 •创建一个以JDBC连接数据库的程序，包含7个步骤： 1、加载JDBC驱动程序：在连接数据库之前，首先要加载想要连接的数据库的驱动到JVM（Java虚拟机），这通过java.lang.Class类的静态方法forName(String className)实现。例如： try{ //加载MySql的驱动类

2017-08-16 16:57:50 8574

转载常见的测试用例设计方法都有哪些？分别以具体的例子来说明这些方法在测试用例设计工作中的应用。

1. 等价类划分等价类是指某个输入域的子集合.在该子集合中,各个输入数据对于揭露程序中的错误都是等效的.并合理地假定:测试某等价类的代表值就等于对这一类其它值的测试.因此,可以把全部输入数据合理划分为若干等价类,在每一个等价类中取一个数据作为测试的输入条件,就可以用少量代表性的测试数据.取得较好的测试结果.等价类划分可有两种不同的情况:有效等价类和无效等价类.2. 边界值分析法边界值

2017-08-16 16:55:28 2881

原创 java 无序数组中两个元素相加等于指定的数 o（n）

//思路：使用hash表存储数组各元素是否存在的标志，然后遍历数组，判断sum与当前数组元素的差值是否在hash表中, //若为真则打印，该算法不要求数组有序，但要求一个hash数组的额外空间，时间复杂度是O(n) private static void execute1(int[] array, int m) { int size = array.le

2017-08-16 11:18:39 1201 1

原创 java 实现单链表反转

使用p和q两个指针配合工作，使得两个节点间的指向反向，同时用r记录剩下的链表。p = head;q = head->next;head->next = NULL;现在进入循环体，这是第一次循环。r = q->next; q->next = p;p = q; q =r;第二次循环。r = q->nextq->ne

2017-08-16 11:10:56 230

原创输入一个int型的正整数，计算出该int型数据在内存中存储时1的个数。

输入描述: 输入一个整数（int类型）输出描述:这个数转换成2进制后，输出1的个数1.mport java.util.*; public class Main { public static void main(String[] args) { Scanner sc=new Scanner(System.in); while (sc.

2017-07-10 19:51:57 888

原创 java 字典排序

1.Arrays.sort(demos); 2.Collections.sort(Arrays.asList(demos));

2017-07-10 17:54:07 214

原创输入一个int型整数，按照从右向左的阅读顺序，返回一个不含重复数字的新的整数。

题目描述输入一个int型整数，按照从右向左的阅读顺序，返回一个不含重复数字的新的整数。输入描述:输入一个int型整数输出描述:按照从右向左的阅读顺序，返回一个不含重复数字的新的整数示例1输入9876673输出37689import java.util.Scanner;public class Main { pub

2017-07-10 15:43:44 5164

原创操作给定的二叉树，将其变换为源二叉树的镜像。

public class Solution { public void Mirror(TreeNode root) { if(root == null) return; TreeNode t=null; t=root.left; root.left=root.right; root.right=t;

2017-07-05 21:34:25 270

原创输入两棵二叉树A，B，判断B是不是A的子结构。（ps：我们约定空树不是任意一个树的子结构）

public class Solution { public boolean HasSubtree(TreeNode root1,TreeNode root2) { if (root2 == null) return false; if (root1 == null && root2 != null)

2017-07-05 21:32:55 302

原创输入两个单调递增的链表，输出两个链表合成后的链表，当然我们需要合成后的链表满足单调不减规则。

public class Solution { public ListNode Merge(ListNode list1,ListNode list2) { ListNode list=null; if(list1==null&&list2==null) return null; if(list1==null) return list2

2017-07-04 16:32:22 3020

原创输入一个链表，反转链表后，输出链表的所有元素。

public class Solution { public ListNode ReverseList(ListNode head) { ListNode pre=null; ListNode next=null; if(head==null)return null; while(head!=null) { next=head.next; head

2017-07-04 16:17:02 577

原创输入一个链表，输出该链表中倒数第k个结点。

public ListNode FindKthToTail1(ListNode head,int k) { ListNode p=head; int count = 0; while(p!=null){ count++; p=p.next; } if(k>count) return null; ListNode p1=head; for(i

2017-07-04 14:52:03 1005

原创输入一个整数数组，实现一个函数来调整该数组中数字的顺序，使得所有的奇数位于数组的前半部分，所有的偶数位于位于数组的后半部分，并保证奇数和奇数，偶数和偶数之间的相对位置不变。

public static void reOrderArray(int[] array) { int len = array.length; int[] arr = new int[len]; int j = 0; for (int i = 0; i < len; i++) { if (array[i] % 2 == 1) { arr[j++] = array[i];

2017-07-04 11:06:55 839

原创给定一个double类型的浮点数base和int类型的整数exponent。求base的exponent次方

public double Power(double base, int exponent) { double r = 1.0; double s = 1.0; if (exponent > 0) { for (int i = 1; i <= exponent; i++) { r *= base; } } else if (exponent < 0) {

2017-07-03 14:19:17 464

原创输入一个整数，输出该数二进制表示中1的个数。其中负数用补码表示。

public class IntToBinary { public int NumberOf1(int n) { int count=0; String binaryStr=Integer.toBinaryString(n); for(int i=0;i<binaryStr.length();i++){ char c=binaryStr.cha

2017-07-03 14:01:55 198

原创一只青蛙一次可以跳上1级台阶，也可以跳上2级……它也可以跳上n级。求该青蛙跳上一个n级的台阶总共有多少种跳法。

public class Solution { public int JumpFloorII(int target) { int result=0; if(target==0) {result=0; }else if(target==1) {result=1; }else{

2017-07-03 11:38:23 13654 4

原创一只青蛙一次可以跳上1级台阶，也可以跳上2级。求该青蛙跳上一个n级的台阶总共有多少种跳法。

public class Solution { public int JumpFloor(int target) { int first=1; int second=2; int result=0; if (target <= 0) { return 0; } if (tar

2017-07-03 11:08:47 953

原创大家都知道斐波那契数列，现在要求输入一个整数n，请你输出斐波那契数列的第n项。 n<=39

public class Solution { public int Fibonacci(int n) { int a=1,b=1,result=0; if(n<0){ return 0; }else if(n==1||n==2){ return 1; }else { for(int i=3;i<=n;i++){ result=a+b;

2017-07-03 10:40:13 6273 1

原创把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。输入一个非递减排序的数组的一个旋转，输出旋转数组的最小元素。例如数组{3,4,5,1,2}为{1,2,3,4,5}的一个旋转，该数

import java.util.ArrayList;public class Solution { public int minNumberInRotateArray(int [] array) { int result = 0; int len = array.length; if (len == 0) result = 0; for (int i =

2017-07-03 09:18:23 841

原创用两个栈来实现一个队列，完成队列的Push和Pop操作。队列中的元素为int类型。

import java.util.Stack;public class Solution { Stack stack1 = new Stack(); Stack stack2 = new Stack(); public void push(int node) { stack1.push(node); }

2017-06-30 20:35:30 251

原创请实现一个函数，将一个字符串中的空格替换成“%20”。例如，当字符串为We Are Happy.则经过替换之后的字符串为We%20Are%20Happy。

public class Shuzutihuan { public static String replaceSpace(StringBuffer str) { for(int i=0;i<str.length();i++){ char c=str.charAt(i); if(c==' '){ str.replace(i, i+1, "%20"); } }

2017-06-30 20:12:24 222

原创在一个二维数组中，每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。

public static boolean Find2(int target, int[][] array) { int row = array.length - 1; int column = 0; boolean found = false; while (row >= 0 && column

2017-06-30 19:17:56 252

xiaomei920528的博客