小老弟,来爬取携程的民宿酒店数据啦(附带源码)

今天接到个需求,一个同学需要我帮忙爬取一下携程的民宿酒店数据。都知道携程难爬,我一不小心就掉坑里了。 其实携程难爬的数据是酒店数据,而这个民宿应该是个新上线的业务,所以并没有做什么反爬手段,可惜老夫不知道啊,所以从中午接到电话就开始了折腾之路。 第一阶段:人生苦短,我用python 刚一听到...

2019-05-29 23:27:33

阅读数 23

评论数 1

JS高效数据存取指南

我们经常会在JS脚本中对数据进行存取,平时我们都不太会去在意由于数据存取位置的不同而导致的脚本执行性能问题。其实,数据在脚本中存储的位置会直接影响脚本执行的总耗时。一般而言,在脚本中有4中地方可以存取数据:字面量值变量数组元素对象属性 读取数据总会带来性能开销,而开销大小取决于数据存储在这4种位置...

2018-07-04 15:40:01

阅读数 105

评论数 0

"Couldn't resolve host 'mirrors.zju.edu.cn'" Trying other mirror.解决办法

Error Downloading Packages:   mlocate-0.22.2-4.el6.i686: failure: Packages/mlocate-0.22.2-4.el6.i686.rpm from base: [Errno 256] No more mirrors to t...

2017-09-17 18:07:30

阅读数 3375

评论数 0

linux安装软件时提示找不到镜像的问题:Couldn't resolve host 'mirrorlist.centos.org'

问题: [root@cddserver2 ~]# yum -y install gcc-* Loaded plugins: fastestmirror, presto Could not retrieve mirrorlist http://mirrorlist.centos.org/?re...

2017-08-31 11:16:58

阅读数 328

评论数 0

easyui数字框不足一位补0效果实现

<!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>B...

2019-06-10 21:47:52

阅读数 10

评论数 0

PowerDesigner逆向工程,从数据库导出PDM(包括采坑记录)

本文所使用工具: PowerDesigner 16, 数据源Oracle 11g 第一步如图,新建一个模型 第二步:选中当前模型 testdb. 然后在菜单栏database->update model from database 会弹出如下窗口: 选择或者配...

2019-05-21 11:34:34

阅读数 17

评论数 0

Springboot项目与vue项目整合打包

我的环境 * JDK 1.8 * maven 3.6.0 * node环境 1.为什么需要前后端项目开发时分离,部署时合并? 在一些公司,部署实施人员的技术无法和互联网公司的运维团队相比,由于各种不定的环境也无法做到自动构建,容器化部署等。因此在这种情况下尽量减少部署时的服务软件需求,打出的包...

2019-05-09 11:01:14

阅读数 80

评论数 0

Redis在项目中的地位及使用场景剖析

Redis在项目中的地位及使用场景剖析 一、 redis 特点 所有数据存储在内存中,高速读写 提供丰富多样的数据类型:string、 hash、 set、 sorted set、bitmap、hyperloglog 提供了 AOF 和 RDB 两种数据的持久化保存...

2019-05-03 12:49:12

阅读数 62

评论数 0

如何将word表结构转换为excel表格,最终转换为PowerDesigner格式

word版本结构 转换为excel 直接拷贝到excel表格中即可 需要对结构稍作处理,把表名和注释分到两个格子中,把字段头放到第一行,如果有多个表,把其他表的字段头去掉。如下: 接下来就可以做导入PowerDesigner的操作了 在PowerDesigner中新建物理模型...

2019-04-25 09:13:10

阅读数 60

评论数 0

调整PowerDesigner各种字体大小

一 改变左侧菜单字体大小 Tools----->General------->Fonts-------->根据item选项的不同改变字体的大小 二 改变数据模型Table的字体大小 Tools------>DisplayPrefrenc...

2019-04-25 08:47:43

阅读数 209

评论数 0

mysql大数据量分页的一些做法

随着公司业务的增长,数据库的数据也呈指数级增长,拿订单表为例,之前公司的订单表每天只有几千个,一个月下来不超过十万。而现在每天的订单大概就是2w+,目前订单表的数据已经达到了700w。这带来了各种各样的问题,今天我先从一个小问题开始。 之前公司代码mysql的分页都是采用的limit方式进行,这...

2019-02-27 20:00:25

阅读数 74

评论数 0

过年各路红包玩法总结,都是上亿的项目!!!

今天过年参与了三个上亿的项目,分别是支付宝的集五福,今日头条的发财中国年集卡以及百度的集好运分1亿活动,在参与活动的过程中,站在一个程序员(非大厂)的角度,对这些玩法的逻辑进行了一些思考,现跟大家分享一下。 一.支付宝集五福活动 支付宝的集五福活动已经出现好几年了,所以在刚推出的时候,同事们就...

2019-02-03 14:46:22

阅读数 771

评论数 0

linux mysql自动备份 和 数据恢复

1、写一个脚本:/root/mysql_backup.sh vim /root/mysql_backup.sh #!/bin/bash backupdir=/data/mysql_backup    time=` date +%Y%m%d%H` mysqldump -uroot -p'你的密码...

2019-01-20 18:39:13

阅读数 47

评论数 0

mq避免重复消费

https://blog.csdn.net/yeweiouyang/article/details/74943278 发送到死信队列中的消息需要取出来进行消费,转发到原有队列重新消费 一是在客户端做幂等性处理 二是消息有唯一编号,消费完的消息,存到消息表里,这样做去重。 第二种对消息系统的...

2019-01-20 10:57:33

阅读数 1090

评论数 0

解决iframe在ios中无法滚动的bug

https://fly.layui.com/jie/32020/(无效) 修改方法:1、在嵌入进iframe的每个页面的<body>里面加个id,如<body id="iosiframe"&am...

2018-12-29 00:32:39

阅读数 1169

评论数 0

SQL查询多条只取其中最新的一条数据

首先  查询表fp_studentItem中的studentid=1;有5条数据,我只想要id=163的最新数据 两种方法: 1、SELECT * FROM fp_studentItem where id=( SELECT MAX(id) FROM fp_studentItem where s...

2018-12-26 14:26:41

阅读数 465

评论数 0

萤石云枪机球机云台接入控制实战-含源码-layui

标题最终效果图,下班后摄像头关闭了 主要使用到的技术栈:layui,阿里图标库,layui内置jquery ,mui.min.js,ezuikit.js,萤石云 开始用vedio.js来做,可以播放m3u8的码流,但当前码流结束后不能自动播放下一个,所以需要手动调用,但由于萤石云官方的个人用...

2018-12-14 23:09:03

阅读数 932

评论数 2

SpringBoot异常处理以及对数据正确性的检查

SpringBoot异常处理以及对数据正确性的检查 一个项目中的异常处理是非常沉重的话题,每次做项目中如果异常处理的不好,轻微一点的会让测试人员找到你的问题,严重点的会把报错的日志打印给客户展示,这可能会造成比较严重的生产事故,那么我们该如何优雅的处理程序产生的异常呢?这就是我们接下来的话题。本...

2018-11-27 20:04:51

阅读数 64

评论数 0

github出现Your account has been flagged.导致账号无法公开的解决办法

账号不知道什么原因被guthub给标记了,导致项目别人无法访问,需要发邮件请官方解封 please help me review my account status(flagged due to some mistake Dear sir or madam:   I am writing ...

2018-11-15 19:21:07

阅读数 2043

评论数 2

精尽 Dubbo 源码分析 —— API 配置(一)之应用

  友情提示,【配置】这块的内容,会相对比较枯燥。所以,如果看到一些很难懂的地方,建议先跳过。 对于 Dubbo ,重点是要去理解,多协议、RPC、容错等等模块,而不是【配置】。

2018-11-13 21:31:47

阅读数 282

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭