- 博客(66)
- 收藏
- 关注
RSS订阅
原创 Python 画樱花
一.满树樱花# coding=utf-8# 画一棵樱花 import turtleimport randomfrom turtle import *from time import sleep # 画樱花的躯干(60,t)def tree(branchLen,t): sleep(0.0005) if branchLen >3: if...
2019-09-27 19:30:17
56194
18
原创 程序员的表达式
因为我是程序员所以只能够把爱你写进程序当作不可解的密码作为我一个人知道的秘密我以为你是我的唯一过了很久才发现你不是我独占的服务器我可以传递却什么都不能够取回大师说此算法不可逆我想析构我自己却没有多少勇气只能够注释掉关于你的记忆想寻找你的信息突然发现你已经不在我的域我想重载爱的定义把你我封装在一起在我的名字空间里再也找不到你爱情的管道已经关闭我有...
2019-09-24 09:20:09
195
2
原创 AI百模大战：探寻未来发展新趋势
百模大战中，企业通过建立与高校的紧密合作、举办技术大赛等方式积极培养新一代的AI人才，为企业的技术创新和发展提供了强有力的支持。百模大战中，AI行业的变革愈发明显，产业链的重组和商业模式的创新成为关键驱动。同时，百模大战也加速了跨行业、跨领域的合作，推动了AI技术的跨界融合，为产业变革带来了新的机遇和挑战。百模大战中，AI与边缘计算的深度融合不仅提高了系统的实时性和响应速度，也减轻了云端计算的负担。在这场竞争中，我们不仅见证了AI技术的飞速演进，还发现了一系列新趋势，这些趋势将深刻地影响着AI行业的未来。
2023-12-28 10:49:02
490
原创 聊聊如今的前端
"前端已死"这样的言论更多时候是夸张和误导性的说法，更像是一种引人注意的标题，而非真实的技术现状。可持续性能优化： 随着应用复杂性的增加，性能优化将成为前端开发的永恒课题，未来的发展将更注重性能的可持续提升。关注用户体验： 前端的核心是用户界面，保持对用户体验的关注，关心用户的需求和反馈，注重设计和交互。更强大的框架和工具： 前端框架和工具将继续演进，提供更高效、更灵活的开发方式，降低开发成本。不断学习和跟进技术： 保持对新技术的敏感性，学习新的框架、工具和语言，保持对行业趋势的了解。
2023-12-28 10:41:24
450
原创 Python 提取 PDF 文件的标题、日期和内容并将其存储到 MySQL 数据库中
请注意，您需要将database_name、username、password和替换table_name为您自己的数据库信息。此外，请确保 PDF 文件与 python 脚本位于同一目录中，或者指定文件的完整路径。1.安装必要的库：pdfminer, PyPDF2, mysql-connector-python.3.打开 PDF 文件并提取其标题、日期和内容。2.导入必要的库并连接到 MySQL 数据库。4.将提取的信息插入到 MySQL 数据库中。
2023-03-20 15:35:00
2066
翻译 pypi 镜像使用帮助
临时使用pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package注意，simple 不能少, 是 https而不是http设为默认升级 pip 到最新的版本 (>=10.0.0) 后进行配置：pip install pip -Upip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple如果您到 pip 默认源的网络连接较
2022-02-11 09:20:01
236
原创 python安全指南
通用类I. 代码实现1.1 加密算法1.1.1 【必须】避免使用不安全的对称加密算法1.2 程序日志1.2.1 【建议】对每个重要行为都记录日志1.2.2 【建议】禁止将未经验证的用户输入直接记录日志1.2.3 【建议】避免在日志中保存敏感信息1.3 系统口令1.3.1 【必须】禁止使用空口令、弱口令、已泄露口令1.3.2 【必须】口令强度要求1.3.3 【必须】口令存储安全1.3.4 【必须】禁止传递明文口令1.3.5 【必须】禁止在不安全的信道中传输口令.
2022-01-12 16:10:38
3675
原创 天猫店铺首页数据获取超详细注释
一、概述最近手机坏了想看看手机的价格，自己又是华为的忠实粉丝，就以华为官方旗舰店为例做个学习交流，对价格进行分析一波。纯js控制台，获取价格数据。喜欢的给个star，代码里面有详细解释 GitHub原源码地址...
2021-05-07 15:03:19
417
转载 Chrome88 如何规避webdriver
navigator最近发现谷歌升级版本为 88 ，发现v8引擎也升级了，所以以前的webdriver 规避就失效了实际上我们在使用 Selenium 调用 Chrome 的时候，只需要增加一个配置参数：chrome_options.add_argument("–disable-blink-features=AutomationControlled")就可以再次隐藏 window.navigator.webdriver 了。完整代码如下:...
2021-01-30 10:19:15
453
原创 c# 导入、导出excel
一、 导入excel文件的坑今天在写C#导入excel文件的时候，遇到以下错误信息，真的是很坑。百度了一大堆的东西，完全没有什么用。详细错误大概是这样的：System.InvalidOperationException”类型的未经处理的异常在 System.Data.dll 中发生 未在本地计算机上注册“Microsoft.ACE.OLEDB.12.0没事的哇！遇到困难也要微笑面对（我能怎么办，我也很绝望呀≡(▔﹏▔)≡）经过一系列的试错,终于黄天不负 有心人（我太难了〒▽〒）。
2020-12-15 17:55:59
1367
3
转载 常用Linux命令大全分类
系统信息arch 显示机器的处理器架构(1)uname -m 显示机器的处理器架构(2)uname -r 显示正在使用的内核版本dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI)hdparm -i /dev/hda 罗列一个磁盘的架构特性hdparm -tT /dev/sda 在磁盘上执行测试性读取操作cat /proc/cpuinfo 显示CPU info的信息cat /proc/interrupts 显示中断cat /proc/meminfo 校验内存使用..
2020-09-29 17:25:44
161
转载 数据库设计中常用技巧
原始单据与实体之间的关系 可以是一对一、一对多、多对多的关系。在一般情况下，它们是一对一的关系：即一张原始单据对应且只对应一个实体。在特殊情况下，它们可能是一对多或多对一的关系，即一张原始单证对应多个实体，或多张原始单证对应一个实体。这里的实体可以理解为基本表。明确这种对应关系后，对我们设计录入界面大有好处。 〖例1〗：一份员工履历资料，在人力资源信息系统中，就对应三个基本表：员工基本情况表、社会关系表、工作简历表。这就是“一张原始单证对应多个实体”的典型例子。主键与外键 一般而言，一个实体不能.
2020-09-18 14:34:13
908
转载 数据湖总结
数据湖作为新一代大数据分析处理的基础设施，需要超越传统的大数据平台。个人认为目前在以下方面，是数据湖解决方案未来可能的发展方向。1） 云原生架构。关于什么是云原生架构，众说纷纭，很难找到统一的定义。但是具体到数据湖这个场景，个人认为就是以下三点特征：（1）存储和计算分离，计算能力和存储能力均可独立扩展；（2）多模态计算引擎支持，SQL、批处理、流式计算、机器学习等；（3）提供serverless态服务，确保足够的弹性以及支持按需付费。2） 足够用的数据管理能力。数据湖需要提供更为强大的数据管理能力，包括
2020-08-12 16:56:01
309
转载 数据湖（五）
数据湖建设的基本过程个人认为数据湖是比传统大数据平台更为完善的大数据处理基础支撑设施，完善在数据湖是更贴近客户业务的技术存在。所有数据湖所包括的、且超出大数据平台存在的特性，例如元数据、数据资产目录、权限管理、数据生命周期管理、数据集成和数据开发、数据治理和质量管理等，无一不是为了更好的贴近业务，更好的方便客户使用。数据湖所强调的一些基本的技术特性，例如弹性、存储计算独立扩展、统一的存储引擎、多模式计算引擎等等，也是为了满足业务需求，并且给业务方提供最具性价比的TCO。数据湖的建设过程应该与业务紧密结合
2020-08-12 16:53:41
289
转载 数据湖（四）
1.广告数据分析近年来，流量获取的成本就越来越高，线上渠道获客成本的成倍增长让各行各业都面临着严峻的挑战。在互联网广告成本不断攀升的大背景下，以花钱买流量拉新为主要的经营策略必然行不通了。流量前端的优化已成强弩之末，利用数据工具提高流量到站后的目标转化，精细化运营广告投放的各个环节，才是改变现状更为直接有效的方式。说到底，要提高广告流量的转化率，必须依靠大数据分析。为了能够提供更多的决策支撑依据，需要采取更多的埋点数据的收集和分析，包括但不限于渠道、投放时间、投放人群，以点击率为数据指标进行数据分析，从
2020-08-12 16:46:13
290
1
转载 数据湖（三）
各厂商的数据湖解决方案数据湖作为当前的一个风口，各大云厂商纷纷推出自己的数据湖解决方案及相关产品。本节将分析各个主流厂商推出的数据湖解决方案，并将其映射到数据湖参考架构上，帮助大家理解各类方案的优缺点。一、 AWS数据湖解决方案图7. AWS数据湖解决方案图7是AWS推荐的数据湖解决方案。整个方案基于AWS Lake Formation构建，AWS Lake Formation本质上是一个管理性质的组件，它与其他AWS服务互相配合，来完成整个企业级数据湖构建功能。上图自左向右，体现了数据流入、数据
2020-07-23 15:48:02
537
转载 数据湖（二）
数据湖的基本架构数据湖可以认为是新一代的大数据基础设施。为了更好的理解数据湖的基本架构，我们先来看看大数据基础设施架构的演进过程。1） 第一阶段：以Hadoop为代表的离线数据处理基础设施。如下图所示，Hadoop是以HDFS为核心存储，以MapReduce（简称MR）为基本计算模型的批量数据处理基础设施。围绕HDFS和MR，产生了一系列的组件，不断完善整个大数据平台的数据处理能力，例如面向在线KV操作的HBase、面向SQL的HIVE、面向工作流的PIG等。同时，随着大家对于批处理的性能要求越来越高，
2020-07-23 15:22:01
368
转载 数据湖（一）
数据湖的基本特点对数据湖的概念有了基本的认知之后，我们需要进一步明确数据湖需要具备哪些基本特征，特别是与大数据平台或者传统数据仓库相比，数据湖具有哪些特点。在具体分析之前，我们先看一张来自AWS官网的对比表格上表对比了数据湖与传统数仓的区别，个人觉得可以从数据和计算两个层面进一步分析数据湖应该具备哪些特征。在数据方面：1）“保真性”。数据湖中对于业务系统中的数据都会存储一份“一模一样”的完整拷贝。与数据仓库不同的地方在于，数据湖中必须要保存一份原始数据，无论是数据格式、数据模式、数据内容都不应该被修
2020-07-23 15:14:07
328
转载 初探数据湖
简单聊聊数据湖一、 什么是数据湖|0x00 数据湖是什么“数据湖”最近好像一下子火了，远比“数据仓库”要吃香，在做云计算的公司都在主推这一概念。关于这个概念的标准解释，不论是Wiki也好、AWS也罢，基本上都集中在几个共性上：存储能力：支持企业数据的海量存储需求；数据类型：支持结构化、半结构化及非结构化数据；数据管理：完善的数据信息管理能力，包括但不限定于权限、数据格式、血缘追踪等；个性化分析：不仅要支持离线批量处理，也要支持实时流式处理，以及交互式分析需求；生命周期管理：原始、中间、结果数
2020-07-23 14:37:15
240
原创 python 合并多个csv文件，只留一个表头
import pandas as pdimport glob #只是合并文件def marge(csv_list, outputfile): for inputfile in csv_list: f = open(inputfile, 'r', encoding="utf-8") data = pd.read_csv(f) data.to_csv(outputfile, mode='a', index=False) print('完成合
2020-06-28 16:19:11
7899
5
转载 python stmp 定时发送邮件
一、定时发送安装schedule模块： pip install schedule然后就是代码了：import scheduleimport time#引入schedule和timedef job(): print("宇宙最帅...")#定义一个叫job的函数，函数的功能是打印'I'm working...'schedule.every(10).minutes.do(......
2020-04-23 17:40:56
1054
原创 mycli 超实用的MySQL命令自动补全
本篇文章讲解已经安装好python环境一、安装python 下安装： pip install mycli注： 可能第一次会不成功，可再次安装二、连接数据库输入： mycli -u用户名 -p密码你就可以愉快的使用了大概是这样的效果...
2020-04-21 17:54:36
238
原创 sublime text3常用快捷键
常用快捷键Ctrl+L 选择整行（按住-继续选择下行）Ctrl+KK 从光标处删除至行尾Ctrl+K Backspace 从光标处删除至行首Ctrl+J 合并行（已选择需要合并的多行时）Ctrl+KU 改为大写Ctrl+KL 改为小写Ctrl+D 选择字符串 （按住-继续选择下个相同的字符串）Ctrl+M 光标移动至括号内开始或结束的位置Ctrl+/ 注释整行（如已选择内容，同...
2020-04-07 17:28:00
181
转载 什么是hive？
第一章 hive是什么博客用到的所有资料都会分享至底部百度云一 数据仓库工具Hive背景hadoop生态系统就是为处理大数据集而产生的一个合乎成本效益的解决方案。hadoop的MapReduce可以将计算任务分割成多个处理单元然后分散到家用的或服务器级别的硬件上，降低成本并提供水平伸缩性。问题 : 用户如何从一个现有的数据基础架构转移到hadoop上，而这个基础架构是基于传统关系型数据库...
2020-01-30 00:42:04
434
转载 PS常用快捷键
显示/隐藏选择区域 Ctrl+H；工具选项板：Enter；选项板调整：Shift＋Tab；退出系统：Ctrl＋Q；获取帮助：F1；剪切选择区：F2 / Ctrl＋X；拷贝选择区：F3 / Ctrl＋C；粘贴选择区：F4 / Ctrl＋V；显示或关闭画笔选项板：F5；显示或关闭颜色选项板：F6；显示或关闭图层选项板：F7；显示或关闭信息选项板：F8；显示或关闭动作选项板：F9...
2019-12-02 16:22:02
197
原创 画个小兔叽
# -*- encoding:utf-8 -*-# author: Leetao#绘制兔子from turtle import *import mathdef setting(): speed(20) colormode(255) hideturtle()def face(): pensize(2) rt(90) pencolor(...
2019-11-14 09:22:31
328
原创 拉钩网
# -*- encoding: utf-8 -*-# 导入相应的包import requestsimport timeimport jsonfrom urllib.parse import quotedef get_page(url_start,url_parse,params,job): # 创建一个session对象 s = requests.Session()...
2019-11-04 09:26:43
786
原创 教你表白
<!DOCTYPE html><html><head><title>写上你想对哪个她说的话</title><style>/*css*/div{width:100px; height:160px; background:red; border-radius:100px 100...
2019-10-31 15:30:56
204
原创 微信表白代码
天气越来越冷了榴莲越来越懒了国庆假期也过完了元旦假期什么时候来啊疯狂吐槽吐槽吐槽那么既然来都来了单身的你不准备脱单带他/她回家过年吗下面给大家分享一些好玩的微信表白代码赶快收藏起来吧1、මම ඔබට කියන්න අවශ්ය, මම ඔයාට ආදරෙයි2、ไม่ว่าจะเกิดอะไรขึ้นก็ตามโปรดอย่าปล่อยมือฉันด้วย ฉันต้องการจ...
2019-10-31 15:20:31
13191
转载 python 简单的人脸识别
Python几十行代码实现人脸识别一、准备工作CV2(Opencv)：图像识别，摄像头调用os：文件操作numpy：NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库PIL：Python Imaging Library，Python平台事实上图像处理的标准库二、...
2019-09-09 11:44:14
796
转载 python 图灵机器实现微信自动回复
import requestsimport itchat #这是一个用于微信回复的库KEY = 'ca098ebe818b49df98af997bef29b3b3' #这个key可以直接拿来用 # 向api发送请求def get_response(msg): Url = 'http://www.tuling123.com/openapi/api' data = { 'ke...
2019-08-28 16:52:51
789
原创 计算时差
def timedelta(sign, dt, value): """ 对指定时间进行加减运算，几秒、几分、几小时、几日、几周、几月、几年 sign: y = 年, m = 月, w = 周, d = 日, h = 时, n = 分钟, s = 秒 dt: 日期，只能是datetime或datetime.date类型 value: 加减的数值 ret...
2019-08-21 23:06:40
358
转载 python 破解WiFi密码
生成密码import itertools as itsif __name__ == '__main__': words_num = "1234567890" words_letter = 'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz' r = its.product(words_num,repeat=8)...
2019-08-20 12:18:30
387
2
原创 初入职场的小白（前篇）
盼望着、盼望着，终于毕业了。自己憧憬着自己的未来，对生活充满着希望，期待着自己毕业的第一份工作。自己单枪匹马就去大城市闯荡，大热天的自己在这个陌生的城市中奔跑着，到处面试，对于刚毕业的新生，企业貌似不care，所以我四处碰壁，面试了一家又一家，都以失败告终，每次面试失败的原因都是因为自己是刚毕业的新生，经验不足，自己也觉得挺失望的，也不想去包装欺骗，自己还是努力的寻找，真的是黄天不负有心人，在我几...
2019-08-19 12:16:50
489
原创 表白小套路
import pygameimport random # 设置游戏屏幕大小 这是一个常量WIDTH, HEIGHT = 640, 480 screen = pygame.display.set_mode((WIDTH, HEIGHT), 0, 32)pygame.display.set_caption('FROM一个喜欢你很久的小哥哥')pygame.init() ...
2019-08-19 10:54:01
1166
转载 pandas 新手快速入门（下）
一、重塑(Reshaping)堆叠(Stack)In [95]: tuples = list(zip(*[['bar', 'bar', 'baz', 'baz', ....: 'foo', 'foo', 'qux', 'qux'], ....: ['one', 'two', 'one', 'two',...
2019-08-16 11:46:31
196
转载 pandas 新手快速入门（上）
一、创建对象导入模块import numpy as np import pandas as pd 如果你想连接数据库，大体的方法如下：导入模块 import pymysqlconn = pymysql.connect(host="你的IP",port=端口号,user="用户名",password="用户密码",db="库名",charset="utf8")sql =...
2019-08-15 10:58:06
233
转载 pandas 读取mongo数据
import pandas as pdfrom pymongo import MongoClient def _connect_mongo(host, port, username, password, db): """ A util for making a connection to mongo """ if username and password: ...
2019-08-13 14:38:05
812
原创 数据分析
数据分析多数据合并封装import xlrd,xlsxwriterallxls =["F:/first.xls","F:/second.xls"]endxls = "F:/endxls.xls"def open_xls(file): try: fh=xlrd.open_workbook(file) return fh except Excep...
2019-08-01 10:58:27
116
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人