李老师搞技术-CSDN博客

原创强强强！8个Python优化提速的小技巧！值得收藏

Python 是一种脚本语言，相比 C/C++ 这样的编译语言，在效率和性能方面存在一些不足。但是，有很多时候，Python 的效率并没有想象中的那么夸张。本文对一些 Python 代码加速运行的技巧进行整理。0. 代码优化原则本文会介绍不少的 Python 代码加速运行的技巧。在深入代码优化细节之前，需要了解一些代码优化基本原则。第一个基本原则是不要过早优化。很多人一开始写代码就奔着性能优化的目标，“让正确的程序更快要比让快速的程序正确容易得多”。因此，优化的前提是代码能正常工作。过早地进行优

2021-09-02 11:14:47 188

原创闲鱼如何高效打造一个多业务、低侵入的搜索链路

问题及现状闲鱼搜索很多场景基于集团搜索中台能力，纵观闲鱼搜索链路，存在多角色（工程、算法工程、算法等）、多业务（闲鱼无忧购、租房、帖子等）、多节点（离线数据源聚合、在线召回、URF Rank等），具有明显的复杂性。并且闲鱼主搜仅存在一条链路支持搜索多业务发展，各角色、各业务、各节点处于高耦合串行迭代模式。在大数据量、多业务、多角色并行场景下，以下问题日益明显：1、迭代效率低、排期长，无法满足新业务快速迭代诉求：主要体现在数据量大，单次迭代周期长，以及多业务、多角色串行操作，耦合严重；2、风险..

2021-09-02 11:13:02 241

原创【LINUX】Linux网卡绑定探析

现在很多服务器都自带双千兆网口，利用网卡绑定既能增加网络带宽，同时又能做相应的冗余，目前应用于很多的场景。下自带的网卡绑定模式，bonding驱动提供了一个把多个网络接口设备捆绑为单个网络接口设置来使用，用于网络负载均衡及网络冗余。当然现在网卡产商也会出一些针对windows操作系统网卡管理软件来做网卡绑定（windows操作系统没有网卡绑定功能需要第三方支持）。一、Bonding的应用1、网络负载均衡对于bonding的网络负载均衡是我们在文件服务器中常用到的，比如把三块网卡，当做...

2021-09-01 11:33:04 300

原创【LINUX】linux ulimit调优

1,说明:ulimit用于shell启动进程所占用的资源.2,类别:shell内建命令3,语法格式:ulimit [-acdfHlmnpsStvw] [size]4,参数介绍:-H 设置硬件资源限制.-S 设置软件资源限制.-a 显示当前所有的资源限制.-c size:设置core文件的最大值.单位:blocks-d size:设置数据段的最大值.单位:kbytes-f size:设置创建文件的最大值.单位:blocks-l size:设置在内存中锁定进程的最大值.单位:kbytes

2021-09-01 11:30:25 1601

原创【LINUX】Linux 中 rsync 备份数据使用实例

当前有一套测试库，剩余磁盘空间不多，而且为了保持干净，因此要先删旧库再建新库，开始吧。检查当前配置srvctl config all备份当前环境expdp directory=dir1 dumpfile=mon.dmp schemas=MON logfile=mon_exp.log/home/oracle/mon.dmp 247MB删除当前数据库dbca -silent -deleteDatabase -sourceDB moniterdb整合现有磁盘col name for a

2021-09-01 11:12:43 102

原创 ORA-01578 ORA-26040 修复nologging 操作对dg的影响

配置了备库就应该设置force_logging为YES，不然如果有sqlldr等nologging操作有可能会导致备库出现坏块。为了修复还得把整个文件重新同步。 -- 1.备库上检查哪些文件发生过nologging colFIRST_NONLOGGED_SCNfor999999999999 SELECTFILE#,FIRST_NONLOGGED_SCNFROMV$DATAFILEWHEREFIRST_NONLOGGED_SCN>0; -- 2.备库上off...

2021-09-01 11:03:58 227

原创阿里、有赞五轮技术面+一轮HR面，Java岗面经，面试题总结

人情况：EE方向渣硕，七月末内推了阿里集团某部门Java岗，约三周完成了所有面试。面经如下：一面（简历评估）：1、自我介绍2、TCP与UDP的区别3、TCP三次握手说一下（把流程说一遍，这里以为会继续问为什么不是两次或者四次，结果没有）4、看你项目用到线程池，说一下线程池工作原理，任务拒接策略有哪几种5、进程和线程的区别6、ArrayList与LinkedList的区别7、线程安全与非线程安全集合说一下，底层怎么实现的（hashmap，concurrenthashmap）8、Java内

2021-08-30 16:46:17 745

原创阿里巴巴136道Java高级岗面试题

整理的136道阿里的Java面试题，都来挑战一下，看看自己有多厉害。下面题目都带超详细的解答，详情见底部。java基础Arrays.sort实现原理和Collection实现原理foreach和while的区别(编译之后)线程池的种类，区别和使用场景分析线程池的实现原理和线程的调度过程线程池如何调优线程池的最大线程数目根据什么确定动态代理的几种方式HashMap的并发问题了解LinkedHashMap的应用吗反射的原理，反射创建类实例的三种方式是什么？cloneable接口实现原理，

2021-08-30 16:43:48 127

原创【Python】Python入门—实现scrapy爬虫每天定时抓取数据

前言。1.1. 需求背景。每天抓取的是同一份商品的数据，用来做趋势分析。要求每天都需要抓一份，也仅限抓取一份数据。但是整个爬取数据的过程在时间上并不确定，受本地网络，代理速度，抓取数据量有关，一般情况下在20小时左右，极少情况下会超过24小时。1.2. 实现功能。通过以下三步，保证爬虫能自动隔天抓取数据：每天凌晨00：01启动监控脚本，监控爬虫的运行状态，一旦爬虫进入空闲状态，启动爬虫。一旦爬虫执行完毕，自动退出脚本，结束今天的任务。一旦脚本距离启动时间超过24小时，自动退出脚本，等待第二.

2021-08-30 08:45:34 2758

原创【Python】Python存储爬虫抓取数据的5种方式比较

爬虫抓取数据后，怎样存储才是最好的方式呢？先来盘点一下可以使用的存储方式以json格式存储到文本文件存储到excel存储到sqlite存储到mysql数据库存储到mongodb1、以json格式存储到文本文件这是最简单，最方便，最使用的存储方式，json格式保证你在打开文件时，可以直观的检查所存储的数据，一条数据存储一行，这种方式适用于爬取数据量比较小的情况，后续的读取分析也是很方便的。2、存储到excel如果爬取的数据很容易被整理成表格的形式，那么存储到excel是一个比较不错的选择，打

2021-08-30 08:36:37 435

lzh56888的博客