- 博客(49)
- 收藏
- 关注
RSS订阅原创 如何通过python实现导出题库到pdf?
要通过Python实现将题库导出为PDF，你可以使用第三方库如pdfkit或weasyprint来完成。以下是一种可行的方法：安装所需的库：使用pip命令安装pdfkit或weasyprint库。准备HTML模板：创建一个HTML模板文件，其中包含题目、答案、图片等内容。确保在HTML中使用CSS样式来控制文本和图像的外观...
2023-11-10 10:41:25
214
原创 Nio bot蔚来车主群服务机器人
Git和其他版本控制系统如SVN的一个不同之处就是有暂存区的概念。先来看名词解释。工作区(Working Directory)就是你在电脑里能看到的目录，比如我的learngit文件夹就是一个工作区：版本库(Repository)工作区有一个隐藏目录.git，这个不算工作区，而是Git的版本库。Git的版本库里存了很多东西，其中最重要的就是称为stage(或者叫index)的暂存区，...
2023-08-03 17:25:23
239
原创 超实用！手把手教你如何将 URP 项目快速运行于 VR 平台
Unity 通用渲染管线(URP)具有非常强大的跨平台支持能力，使用 URP 开发的项目，不需要过多修改渲染设定，即可运行在移动设备、主机、PC、VR 等各类平台上。本文将手把手教你让 URP 项目快速运行于 VR 平台。无论你的项目是从头开发，还是已经发布在了其他平台，都可以参考这里的步骤。安装对应的软件包所有 Unity VR 项目都需要有 XR Plug-in Management 软件包。...
2023-07-04 14:35:01
344
原创 无人系统的环境感知技术 | 毫米波雷达技术（一）
本文首发于公众号【调皮连续波】，其他平台为自动同步，内容若不全或乱码，请前往公众号阅读。关注调皮哥，和大家一起学习雷达技术！【正文】1、毫米波雷达介绍雷达(RADAR)是“无线电探测和测距(Radio Detection and Ranging)”的缩写，这意味着可以通过电磁波检测和估计距离，这就是雷达的信号检检测与参数估计。毫米波波是位于红外光波和微波频段之间的电磁波，对不同类别的毫米波雷达...
2023-02-15 22:13:00
2117
原创 mysql 基础入门
第一章 SQL的介绍1.1什么是sqlSQL：Structure Query Language。(结构化查询语言),通过sql操作数据库(操作数据库,操作表,操作数据)SQL被美国国家标准局(ANSI)确定为关系型数据库语言的美国标准，后来被国际化标准组织(ISO)采纳为关系数据库语言的国际标准各数据库厂商(MySql,oracle,sql server)都支持ISO的S...
2023-02-01 11:04:24
300
原创 IDEA Mac – Windows开发编码不兼容的问题
我们知道Unix与Windows换行符、回车符等一些不一致，但是我们在编译器有些时候是看不出来的，我们能做的就是再开发前，统一文件的编码格式！简述：全局编码格式UTF-8、项目编码格式UTF-8、默认的properties文件编码也是UTF-8、Line Separator(换行符)选择LF(Unix and MacOS)修改步骤这里选择LF。以后统一后，就不会出现这个问题。ps：记得务必使用Ma...
2023-01-31 17:15:16
409
原创 Python中超好用的split()函数，详解
文章目录 一、split函数简介二、语法三、分离字符串四、实例 一、split函数简介 Python中split()函数，具体作用如下： 拆分字符串。通过指定分隔符对字符串进行切片，并返回分割后的字符串列...
2023-01-04 21:54:24
13052
原创 C++写一个CNN模型
好的，我们可以使用 TensorFlow 来实现一个 CNN 模型。首先，我们需要准备输入数据和标签。接着，我们可以定义模型的网络结构。下面是一个基本的 CNN 模型的示例代码：import tensorflow as tf# 定义输入层input_layer = tf.keras.layers.Input(shape=(28, 28, 1))# 定义卷积层，包含 32 个 3x3...
2023-01-03 21:50:33
279
原创 如何是用queryWrapper
您好，QueryWrapper是MyBatis Plus中的一个工具类，用于生成SQL语句。使用QueryWrapper需要指定实体类的类型，然后通过调用各种方法来构建查询条件，最后调用getSqlSegment方法来获取生成的SQL片段。例如，假设我们有一个用户表，想要根据用户名和年龄范围查询用户列表，代码可能如下所示：```QueryWrapper<User> query...
2023-01-03 11:45:22
239
原创 解决ImportError: cannot import name ‘soft_unicode‘ from ‘markupsafe‘
运行jupyter notebook的时候报错：ImportError: cannot import name 'soft_unicode' from 'markupsafe' 这个报错应该怎么解决呢？ 1、 根据错误提示...
2022-12-27 22:34:54
2669
1
原创 Docker 容器限制内存
1 启动容器时限制容器内存docker run -m 4g --memory-swap -12限制已启动容器的内存docker stop containerIddocker update containerId -m 4g --memory-swap -1docker start containerId3命令详解--memory 或 -...
2022-12-24 00:00:00
497
原创 Linux 安装 python3.8总结
一、Linux下载 Python 3 1、进入 opt 文件目录下 cd opt/ 2、下载 python3 ,输入命令 wget https://www.python.org/ftp/python/...
2022-12-10 16:44:24
1251
原创 大数据最佳实践-hive on spark
目录 Hive on Spark与SparkSQLSpark 内存配置spark动态分配Hive Hive on Spark与SparkSQL Hive是Hadoop中的标准SQL引擎，也是最古老的引擎之一。H...
2022-11-27 19:22:14
1833
原创 linux下查看文件内容的命令
众所周知Linux中命令cat、more、less均可用来查看文件内容，主要区别有： cat是一次性显示整个文件的内容，还可以将多个文件连接起来显示，它常与重定向符号配合使用，适用于文件内容少的情况； more和less一般...
2022-11-26 15:32:54
2127
原创 以金融证券、游戏、电商等案例详解SQL强化
SQL强化 SQL执行顺序 --举例：select a.sex, b.city, count(1) as cnt, sum(salary) as sum1fr...
2022-11-23 21:44:22
382
原创 【hive】经典笔试面试题（三）如何计算一个视频近30天的曝光量
1、需求： 需求比较简单，本产品每天会有大量的视频产生，想计算每个视频在当天、近7天、近30天的曝光量都是多少。 我们有一个底表，就是一张曝光表，很原始的数据 一个视频被一个消费者看到了就算曝光一次，也就是对应表中的一行。...
2022-11-21 20:34:52
447
原创 Python多线程并发编程
一、Python中的GIL """GIL的全称global interpreter lock 意为全局解释器锁。Python中的一个线程对应与c语言中的一个线程。GIL使得同一时刻一个CPU只能有一个线程执行字节码，...
2022-11-20 14:54:12
419
原创 Mac 解决证书不受信任问题
1. 问题现象 2. 解决方案 从系统的启动台中找到钥匙串应用： 然后双击打开，找到对应的证书，然后按照下图操作： 在上图中，选择始终信任之后，点击左上角的关闭按钮关闭页面，然后就会出现下图中的密码输入框： 点击上图中的更新设置之后，可能界面上还是会看到此证书已标记为不受此账户信任的提示，此时，我们退出钥...
2022-11-16 20:15:45
10186
1
原创 ios mac使用mitmproxy抓包
记一次ios mac使用mitmproxy抓包官网: https://mitmproxy.org/mac安装mitmproxybrew install mitmproxyios和mac处同一个局域网中mac启动 mitmproxy1.命令行模式：启动命令： mitmproxy (默认端口8080) 或 mitmproxy -p 8888 端口就是...
2022-11-16 20:01:45
1159
原创 ntpdate时间同步
使用ntpdate进行时间同步。ntp常用服务器：中国国家授时中心：210.72.145.44NTP服务器(上海)：ntp.api.bz美国：time.nist.gov复旦：ntp.fudan.edu.cn微软公司授时主机(美国) ：time.windows.com台警大授时中心(台湾)：asia.pool.ntp.orgdate命令：...
2022-11-15 16:33:34
1439
原创 安卓手机mitmproxy抓包
抓包#Android 从 7.0 开始，系统不再信任用户 CA 证书(应用 targetSdkVersion >= 24 时生效，如果 targetSdkVersion <24 即使系统是 7.0 + 依然会信任)。只要证书不被信任就会导致我们添加中间人代理后，https请求时无法正常进行的。有些app为了防止抓包可能会采用公共证书固定的手段进行防御，公证书固定(Certific...
2022-11-13 13:23:54
3062
原创 （转）linux内存管理之伙伴系统（内存分配）
一、Linux伙伴系统分配器伙伴系统分配器大体上分为两类。__get_free_pages()类函数返回分配的第一个页面的线性地址；alloc_pages()类函数返回页面描述符地址。不管以哪种函数进行分配，最终会调用alloc_pages()进行分配页面。为清楚了解其分配制度，先给个伙伴系统数据的存储框图也就是每个order对应一个free_area结构，free_area以不同...
2022-11-13 13:23:54
359
原创 Python异常重试解决方案 Python中异常重试的解决方案详解
想了解Python中异常重试的解决方案详解的相关内容吗，标点符在本文为您仔细讲解Python异常重试解决方案的相关知识和一些Code实例，欢迎阅读和指正，我们先划重点：python,重试,python,重试机制,python,出错重试，下面大家一起来学习吧。前言大家在做数据抓取的时候，经常遇到由于网络问题导致的程序保存，先前只是记录了错误内容，并对错误内容进行后期处理。原先的流程：d...
2022-11-12 19:55:13
2611
原创 Python列表排序方法reverse、sort、sorted详解
python语言中的列表排序方法有3个：reverse反转/倒序排序sort正序排序sorted可以获取排序后的列表在更高级列表排序中，后两中方法还可以加入条件参数进行排序。reverse()方法将列表中元素反转排序，比如下面这样>>> x = [1,5,2,3,4]>...
2022-11-11 22:33:53
1711
原创 Python要如何实现列表排序的几种方法
排序，是许多编程语言中经常出现的问题。同样的，在Python中，如何是实现排序呢？(以下排序都是基于列表来实现)一、使用Python内置函数进行排序Python中拥有内置函数实现排序，可以直接调用它们实现排序功能Python 列表有一个内置的 list.sort() 方法可以直接修改列表。还有一个 sorted() 内置函数，...
2022-11-10 21:59:33
45952
2
原创 在Pycharm的Flask模块的使用过程中出现OSError[Errno 48]:Address already in use
1. 问题陈述 在Pycharm的Flask模块的使用过程中，可能会出现该问题：OSError[Errno 48]:Address already in use。 2.软件版本 MacOS : 10.13.6 Pych...
2022-11-04 21:35:45
570
原创 新装IDEA建好python项目出现导包错误提示"You should consider upgrading via the 'python -m pip.........
新电脑安装IDEA后，建好python项目，在导包过程中发生了以下的错误情况~ 那我们经过观察，发现其实IDEA已经给我们提供好了解决的方案了： 快捷键：win+R 输入cmd 进入命令窗口 先使用命令查看已下pip的版本(...
2022-11-04 21:35:45
2720
原创 python爬虫 scrapy+selenium+webdriver实现鼠标滑动破解阿里云盾快验证
在爬取jianshu文章的时候发现，jianshu竟然买了阿里云的盾块验证！很是头疼，虽然说没有其他图片匹配的那么麻烦，但是阿里云的人机验证和算法真的是顶尖的，查阅了多个资料最后没办法，才实现用webdriver模拟鼠标去通过验证。需要注意的是，阿里的盾快验证很厉害，不要随意调用返回页面Response中的参数，否则会直接报错！需要注意的是驱动版本要与浏览器版本相对应，不知道怎么找的可以看我的另一篇文章。阿里的算法也是很牛的，拖动滑块的时长不能写入固定值。这种验证方法并不是百试百灵，也会有验证失败的情况。
2022-11-04 09:30:00
2285
1
原创 Python爬虫scrapy+webdriver，selenium使用webdriver启动chrome出现闪退现象
进入mac系统下的“/Library/Google/GoogleSoftwareUpdate”目录。↑（点击chrome浏览器右上角三个点，最下面帮助→Google Chrome查看版本）为了防止后续还会出现这种情况，可以把Google Chrome自动更新关闭！今天看爬虫服务的时候发现，谷歌浏览器出现打开立即闪退的现象，代码中没有任何报错。webdriver需要和浏览器版本相对应！查看chrome浏览器发现版本更新了。需要更新webdriver的版本！找到与浏览器相对应的版本。下载与本机相对应的版本。
2022-11-03 15:07:56
3329
4
原创 python基础教程：startswith()和endswith()的用法
startswith()方法Python startswith() 方法用于检查字符串是否是以指定子字符串开头如果是则返回 True，否则返回 False。如果参数 beg 和 end 指定值，则在指定范围内检查。str.startswith(str, beg=0,end=len(string));参数str --检测的字符串。strbeg --可选参数用于设置字符串检测的起始位置。strend ...
2022-11-01 22:59:56
641
原创 Hive使用动态分区插入数据
往hive分区表中插入数据时，如果一张表的数据量非常大，需要按照日期分区，且将指定日期的数据插入到对应分区，如果使用进来分区一天一天的手工输入，效率极低，故hive提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区。假如有两张表临时表 trade_detail_his 和目标表Historical 表create table Historical (Id...
2022-10-23 22:54:23
1789
原创 hive group by 导致的数据倾斜问题
Group By默认情况下，Map阶段同一Key数据分发给一个reduce，当一个key数据过大时就倾斜了。但并不是所有的聚合操作都需要在Reduce端完成，很多聚合操作都可以先在Map端进行部分聚合，最后在Reduce端得出最终结果。1)开启Map端聚合参数设置(1)是否在Map端进行聚合(默认为true)set hive.auto.convert.join = true;...
2022-10-06 12:53:14
523
原创 Hive日期时间函数
1.取得当前日期：select current_date(); --返回类型'yyyy-mm-dd',如今天日期'2020-01-01'2.取得当前日期时间：select current_timestamp(); --返回格式'yyyy-mm-dd hh:mi:ss' 如'2021-07-26 15:01:31'3.hive取得当前时间戳：select unix_ti...
2022-10-06 12:53:14
4103
1
原创 hive开窗函数详解
1.OVER()：用于指定分析函数工作时的数据窗口大小，这个数据窗口大小可能会随着行的变而变化；2.CURRENT ROW：当前行；n PRECEDING：往前n行数据；n FOLLOWING：往后n行数据；UNBOUNDED：起点，UNBOUNDED PRECEDING表示从前面的起点，UNBOUNDED FOLLOWING表示到后面的终点；LAG(col,n,defaul...
2022-10-06 12:53:14
385
原创 Hive建表高阶语句、Hive视图
Hive建表高阶语句、Hive视图Hive建表高阶语句 - CTAS and WITH创建临时表Hive视图(Views)视图概述应用场景Hive视图操作Hive侧视图(Lateral View)Hive建表高阶语句 - CTAS and WITHCTAS – as select方式建表create table ctas_employee asselect * from empl...
2022-10-03 15:33:24
310
原创 hive数据倾斜
前言：数据倾斜大多数是由于数据本身的分布不均匀。故而需要我们使用诸如列裁剪、Mapjoin、GroupBy等方法进行处理。数据倾斜表现：1、任务日志进度长度为99%，在日志监控进度条显示只有几个reduce进度一直没有完成。2、某一reduce处理时长>平均处理时长3、job数过多数据倾斜原因分析：1、key分布不均2、业务数据本身存在不均匀情况3、关联字段重复数据较多解决方法...
2022-09-24 21:23:19
423
原创 Hive 组内排序，计算TopN
需求场景，组内排序，例如统计某个用户前10次消费金额，如求某个相同id或组内的top值步骤一，创建测试表create table tmp_partition_test (name string,subject string,score int)步骤二，插入测试数据insert into tmp_partition_test (name,subject,score)val...
2022-09-20 09:45:56
722
原创 MD使用命令
常用快捷键加粗： Ctrl + B标题： Ctrl + H插入链接： Ctrl + K插入代码： Ctrl + Shift + C – 无法执行行内代码： Ctrl + Shift + K插入图片： Ctrl + Shift + I无序列表：Ctrl + Shift + L – 无法执行撤销： Ctrl + Z一级标题： Ctrl + ...
2022-07-10 00:00:00
177
chromedriver-mac64.zip 用于爬虫
2022-11-03
百度的用户浏览时长怎么计算的，大家有知道的吗？
2023-01-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人