- 博客(62)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 神仙pyppeteer_stealth，隐藏WebDriver
import asynciofrom pyppeteer import launchfrom pyppeteer_stealth import stealthasync def main(): browser = await launch(headless=True) page = await browser.newPage() await stealth(page) # <-- Here await page.goto("https://bot.san.
2021-06-25 15:43:13
1176
8
原创 RedisCluster 集群搭建
集群搭建RedisCluster最少需要三台主服务器，三台从服务器端口号分别为：7001~7006mkdir redis-cluster/7001 make install PREFIX=/var/redis-cluster/7001第一步：创建7001实例，并编辑redis.conf,修改port为7001。注意：创建实例，即拷贝单机版安装时，生成的bin目录，为7001目录第二步：修改redis.conf配置文件，打开cluster-enable yes第三.
2021-04-29 22:20:05
397
原创 windows下ConcurrentLogHandler因锁机制导致的卡死问题
用concurrent-log-handler替换ConcurrentLogHandler可解决windows因锁机制导致的卡死问题。即pip install ConcurrentLogHandler 改为pip install concurrent-log-handler.大写的好用~感谢老哥的分享作者：PyKailyn链接：https://www.jianshu.com/p/def0a24974e4...
2020-12-08 16:06:03
685
原创 java大数据开发训练营--Zookeeper
1. Zookeeper简介 1.1 Zookeeper是什么？ Zookeeper 是一个分布式协调服务的开源框架。 主要用来解决分布式集群中应用系统的一致性问题， 例如怎样避免同时操作同一数据造成脏读的问题。分布式系统中数据存在一致性的问题！！ ZooKeeper 本质上是一个分布式的小文件存储系统。 提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。 ZooKeeper 提供给客户端监控存储在zk内部数据的功能，从而可以达到基于数据的集群管理。 诸如： 统
2020-12-06 21:56:28
541
1
原创 java大数据开发训练营--Impala
第 1 部分 Impala概述 1.1 Impala是什么 Impala是Cloudera提供的⼀款开源的针对HDFS和HBASE中的PB级别数据进⾏交互式实时查询(Impala 速度快)，Impala是参照⾕歌的新三篇论⽂当中的Dremel实现⽽来，其中旧三篇论⽂分别是 （BigTable，GFS，MapReduce）分别对应我们即将学的HBase和已经学过的HDFS以及MapReduce。 Impala最⼤卖点和最⼤特点就是快速，Impala中⽂翻译是⾼⻆羚⽺。1.2 Impala优势
2020-11-30 00:24:06
974
1
原创 编译hue遇到的问题
/hue/hue/Makefile.vars:42: *** "Error: must have python development packages for 2.6 or 2.7. Could not find Python.h. Please install python2.6-devel or python2.7-devel". Stop.已有前辈铺好路/hue/hue/Makefile.vars:42: *** "Error: must have python development p.
2020-11-15 23:44:02
966
原创 java大数据开发训练营--hadoop入门笔记
HDFS读写操作public class HdfsClient { Configuration configuration=null; FileSystem fs =null; @Before public void init() throws URISyntaxException, IOException, InterruptedException { configuration = new Configuration(); fs =.
2020-11-06 17:52:43
243
原创 java大数据开发训练营--Nginx
Nginx安装下载nginx,官方网站：http://nginx.org/en/download.html我们使用的版本是1.17.8版本。Nginx在Linux下安装,只提供了源代码,所以我们需要进行编译.安装环境配置1.因为Nginx是C语言编写的,所以需要配置C语言编译环境(一定要在联网状态下安装)需要安装gcc的环境。执行命令:yum install gcc-c++2.第三方的开发包, 在编译之前需要安装这些第三方包。PCREn...
2020-10-26 23:58:38
719
原创 java大数据开发训练营--Shell编程
快速入门1 编写脚本新建 /usr/shell/hello.sh文件#!/bin/bashecho 'hello lagou'!是一个约定的标记，它告诉系统这个脚本需要什么解释器来执行，即使用哪一种Shell。echo 命令用于向窗口输出文本。2 执行shell脚本执行方式1[root@centos7-1 shell]# /bin/sh hello.shhello lagou[root@centos7-1 shell]# /bin/...
2020-10-26 22:25:12
201
转载 spring 事务控制 设置手动回滚 TransactionAspectSupport.currentTransactionStatus().setRollbackOnly()；
spring 事务控制 设置手动回滚 TransactionAspectSupport.currentTransactionStatus().setRollbackOnly();//假设这是一个service类的片段try{ //出现异常} catch (Exception e) { e.printStackTrace(); //设置手动回滚 TransactionAspectSupport.currentTra...
2020-10-22 16:48:23
876
转载 JSP中利用JSTL标签对date日期格式化
感谢老哥分享，转自https://www.cnblogs.com/wxjnew/p/7113246.html?utm_source=itdadao&utm_medium=referral数据库：Mysql开发语言：JAVA页面类型：JSP对Mysql中的日期类型格式化，在JSP中，如何办呢，很多人说在JAVA后台去日期格式化，无奈了，于是找到了比较靠谱的答案需要先引入JSTL库 1 <%@ taglib uri="http://java.su
2020-10-16 00:02:08
228
原创 java大数据开发训练营--Java Web 后端技术基础（下）之SpringMVC基本应用
一 SpringMVC简介1.1 MVC模式 MVC是软件工程中的一种软件架构模式，它是一种分离业务逻辑与显示界面的开发思想。 * M（model）模型：处理业务逻辑，封装实体 * V（view） 视图：展示内容 * C（controller）控制器：负责调度分发（1.接收请求、2.调用模型、3.转发到视图）...
2020-09-30 15:59:05
558
原创 java大数据开发训练营--Java Web 后端技术基础（下）之Spring JDBCTemplate & 声明式事务
一 Spring的JdbcTemplate1.1 JdbcTemplate是什么？JdbcTemplate是spring框架中提供的一个模板对象，是对原始繁琐的Jdbc API对象的简单封装。核心对象JdbcTemplate jdbcTemplate = new JdbcTemplate(DataSource dataSource);核心方法 int update(); 执行增、删、改语句 List<T> query(); 查询多个 T queryFo...
2020-09-24 16:38:29
218
原创 java大数据开发训练营--Java Web 后端技术基础（下）之Spring AOP
一 转账案例 需求 使用spring框架整合DBUtils技术，实现用户转账功能 1.1 基础功能 步骤分析1. 创建java项目，导入坐标 2. 编写Account实体类 3. 编写AccountDao接口和实现类 4. 编写AccountService接口和实现类 5. 编写spring核心配置文件 6. 编写测试代码 1. 创建java项目，导入坐标 <dependencies> <dependency>
2020-09-22 23:03:55
225
原创 java大数据开发训练营--Java Web 后端技术基础（下）之Spring IOC控制反转
一 Spring概述 1.1 Spring是什么 Spring是分层的 Java SE/EE应用 full-stack(全栈式) 轻量级开源框架。 提供了表现层 SpringMVC和持久层 Spring JDBC Template以及 业务层 事务管理等众多的企业级应用技术，还能整合开源世界众多著名的第三方框架和类库，逐渐成为使用最多的Java EE 企业应用开源框架。 两大核心：以 IOC（Inverse Of Control：控制反转）和 AOP（Aspect Oriented Prog
2020-09-16 15:27:07
479
1
原创 java大数据开发训练营--Java Web 后端技术基础（下）之Mybatis（二）
一 Mybatis高级查询 1.1 ResutlMap属性 建立对象关系映射 * resultType 如果实体的属性名与表中字段名一致，将查询结果自动封装到实体类中 * ResutlMap 如果实体的属性名与表中字段名不一致，可以使用ResutlMap实现手动封装到实体类中 UserMapper.xml <?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE mapper PUBLIC "-//myb
2020-09-10 17:15:17
296
原创 java大数据开发训练营--Java Web 后端技术基础（下）之Mybatis（一）
一 框架简介 1.1 三层架构 软件开发常用的架构是三层架构，之所以流行是因为有着清晰的任务划分。一般包括以下三层： 持久层：主要完成与数据库相关的操作，即对数据库的增删改查。 因为数据库访问的对象一般称为Data Access Object（简称DAO），所以有人把持久层叫做DAO层。 业务层：主要根据功能需求完成业务逻辑的定义和实现。 因为它主要是为上层提供服务的，所以有人把业务层叫做Service层或Business层。 表现层：主要完成与最终软件使用用户的交互，需要有交互界面
2020-09-08 17:16:43
382
原创 解决报错Cannot resolve constructor ‘Date()‘
new Date()获取当前日期的时候报错Cannot resolve constructor 'Date()'注意导入的包是 java.util.Date还是java.sql.Date方法一：import java.util.Date;Date date = new Date();方法二：import java.sql.Date;Date date =new Date(System.currentTimeMillis());...
2020-09-07 10:47:37
10833
1
原创 ObjectMapper date格式化
@JsonFormat(shape=JsonFormat.Shape.STRING, pattern="yyyy-MM-dd")不知为什么无效 //一个map的集合 List<Map<String, Object>> select = StudentDao.select(); System.out.println(select); ObjectMapper om = new Obj.
2020-09-03 16:42:29
3291
原创 解决axios.post 请求HttpServletRequest.getParameter获取不到值
工具类public class ServletRequestUtil { private static ObjectMapper om = new ObjectMapper(); public static HashMap<String,Object> getJson(InputStream getInputStream) throws IOException { BufferedReader br = new BufferedReader(new In.
2020-09-03 16:41:08
1695
原创 java大数据开发训练营--Java Web 后端技术基础（上）
题记：文章内容输出来源：拉勾教育大数据开发高薪训练营本篇文章是java学习课程中的一部分笔记。本博文主要是记录一些基础的知识点，通过实操更容易理解这章主要讲的是JAVA Web后端基础一 Web知识概述1 软件架构 网络中有很多的计算机，它们直接的信息交流，我们称之为：交互 在互联网交互的过程的有两个非常典型的交互方式——B/S 交互模型（架构）和 C/S 交互模型 （架构） C/S架构 Client/Server 客户端/服务器 访问服务器资源必须安装客户端软件
2020-09-02 17:55:53
697
1
原创 java大数据开发训练营--Highcharts+ECharts数据可视化
题记：文章内容输出来源：拉勾教育大数据开发高薪训练营本篇文章是java学习课程中的一部分笔记。本博文主要是记录一些基础的知识点，通过实操更容易理解这章主要讲的是数据可视化数据可视化数据可视化的作用：1.可视化数据更直观，更容易理解2.能够通过不同的维度，使用不同的方式展示数据。3.与数据交互4.建设性讨论结果5.理解运营和结果之间的连接可视化工具介绍可视化在大数据领域应用 数据分析，其整体流程基本上就是 依据数据的处理流转流程进行。通俗可以概括为.
2020-08-18 19:54:32
954
原创 java大数据开发训练营--前端进阶之jQuery+Ajax+Vue
题记：文章内容输出来源：拉勾教育大数据开发高薪训练营本篇文章是java学习课程中的一部分笔记。本博文主要是记录一些基础的知识点，通过实操更容易理解这章主要讲的是前端进阶知识，jQuery基本概念jQuery基本概念 jQuery是一个javascript库，jQuery凭借着简洁的语法和跨平台的兼容性，极大的简化了js操作DOM、处理事件、执行动画等操作。jQuery强调的理念是：'write less, do more'(写的少，做的多)。 官网下载地址：http://jq
2020-08-17 22:43:36
368
原创 java大数据开发训练营--前端基础h5+css+js
题记：文章内容输出来源：拉勾教育大数据开发高薪训练营本篇文章是java学习课程中的一部分笔记。本博文主要是记录一些基础的知识点，通过实操更容易理解这章主要讲的是前端的基础知识，HTMLHTML语法特点 HTML文件不需要编译，直接使用浏览器阅读即可 HTML文件的 扩展名是*.html 或 *.htm HTML结构都是由标签组成 标签名预先定义好的，我们只需要了解其功能即可。 标签名不区分大小写<A name="属性值" age="18" >标签体</.
2020-08-15 16:53:30
502
原创 java大数据开发训练营--mysql数据库JDBC
题记：文章内容输出来源：拉勾教育大数据开发高薪训练营本篇文章是java学习课程中的一部分笔记。本博文主要是记录一些基础的知识点，通过实操更容易理解这章主要讲的是mysql的使用，JDBCJDBC 概述 什么是JDBCJDBC(Java Data Base Connectivity) 是 Java 访问数据库的标准规范.是一种用于执行SQL语句的Java API，可以为 多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。是Java访问数据库的标准规范.J
2020-08-07 20:35:36
738
原创 java大数据开发训练营--mysql数据库基础
题记：文章内容输出来源：拉勾教育大数据开发高薪训练营本篇文章是java学习课程中的一部分笔记。本博文主要是记录一些基础的知识点，通过实操更容易理解这章主要讲的是mysql的使用，MySQL基础&SQL入门 什么是数据库 1. 数据库(DataBase) 就是存储和管理数据的仓库 2. 其本质是一个文件系统, 还是以文件的方式,将数据保存在电脑上 为什么使用数据库 数据存储方式的比较 存储方式 优点 .
2020-08-05 15:01:19
879
1
原创 mysql 出现的小坑集锦
mysql出现ERROR : (2006, 'MySQL server has gone away') 原因和解决方案win10 mysql8 my.ini配置文件
2020-08-03 15:04:42
136
原创 java大数据开发训练营--Java核心类库（下）
题记：文章内容输出来源：拉勾教育大数据开发高薪训练营本篇文章是java学习课程中的一部分笔记。本博文主要是记录一些基础的知识点，通过实操更容易理解这张主要讲的就是一些常用的包的使用，了解认识，如果不记得可以回来再查询使用，手册可真是个好东西异常机制（重点） 基本概念 异常就是"不正常"的含义，在Java语言中主要指程序执行中发生的不正常情况。 java.lang.Throwable类是Java语言中错误(Error)和异常(Exception)的超类。 其中Erro.
2020-07-29 13:22:27
397
原创 java大数据开发训练营--Java核心类库（上）
题记：文章内容输出来源：拉勾教育大数据开发高薪训练营本篇文章是java学习课程中的一部分笔记。本博文主要是记录一些基础的知识点，通过实操更容易理解这张主要讲的就是一些常用的包的使用，了解认识，如果不记得可以回来再查询使用，手册可真是个好东西常用的包包的名称和功能 java.lang包 - 该包是Java语言的核心包，并且该包中的所有内容由Java虚拟机自动导入。 如：System类、String类、... java.util包 - 该包是Java语言的工具...
2020-07-13 15:36:43
826
原创 java大数据开发训练营--Java面向对象编程
题记：文章内容输出来源：拉勾教育大数据开发高薪训练营本篇文章是java学习课程中的一部分笔记。本博文主要是记录一些基础的知识点，通过实操更容易理解面向对象编程 面向对象编程的概念 • 万物皆对象。 • 面向对象指以属性和行为的观点去分析现实生活中的事物。 • 面向对象编程指先以面向对象的思想进行分析，然后使用面向对象的编程语言 进行表达的过程。 • 面向对象编程是软件产业化发展的需求。 • 理解面向对象的思想精髓(封装、继承、多态)，至少掌握一种编程语言。.
2020-07-11 14:26:14
487
原创 java大数据开发训练营--Java语言基础
准备工作：将notepad++新建的默认编码改成ansi，这样做是为了和dos窗口保持一致。新建一个HelloWorld.java文件，并添加一个类，注意：类名应于文件名保持一致。否则会报错。必须要有入口函数main，并且入口函数需要有参数String[] args，否则会报错java每句话后边都需要加上；证明这句话结束public class HelloWorld{ public static void main(String[] args){ System....
2020-07-08 23:57:35
432
原创 pyppeteer 解决修改特征值 webdriver 失效
今天是没有废话的一天await page.evaluateOnNewDocument( '''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => undefined } }); }''')
2020-06-29 23:46:41
586
原创 旋转拖动验证码解决方案
曾几何时，你是否被一个旋转验证码而困扰，没错今日主题——旋转验证码。之前也是被他伤透了心，研究了好几天的js，想直接通过接口传输直接解决验证码的，然而我失败了，不过这一次，他来了他来了，他带着RotNet走来了。RotNet也是我无意间发现的，没错时隔了好几个月，他自己出现在我眼前的。这是他的github：https://github.com/d4nst/RotNet/tree/master，他主要是预测图像的旋转角度以校正其方向，库中包括很全，数据集的下载，训练，预测全都有，而且最最最重要的是
2020-06-10 12:56:59
11362
23
原创 针对django xadmin 导出指定字段list_export_fields不生效的解决方案
需求是这样的，在后台展示的时候需要展出红框中的内容，但是在导出的时候需要导出绿框中的字段，本来觉得是个小小的需求，像xadmin这么到位的框架，肯定是有的，果断百度了一圈，果不其然，清清楚楚的写在人家的博客上。同时，感谢这位老哥的总结和分享，https://blog.csdn.net/bocai_xiaodaidai/article/details/94395604，赞已经点过了，绝不...
2020-04-02 04:13:03
1075
2
原创 yum 安装mysql
一、安装MySQL1）修改yum源（可跳过） yum源（阿里云）http://www.cnblogs.com/lin1/p/5607121.html2）yum安装mysql-server ，开启mysqld服务并创建root用户创建其他用户可以：二、添加开机启动Hive的安装与部署（MySQL作为元数据）感谢这个...
2019-12-23 16:56:09
212
转载 Azkaban基本及编译
Azkaban基础篇工作流概述工作流是将一组任务组织起来以完成某个经营过程：定义了任务的触发顺序和触发条件，每个任务可以由一个或多个软件系统完成，也可以由一个或一组人完成，还可以由一个或多个人与软件系统协作完成。例：请假--》1天：部门经理审批 3天：部门经理审批---》hr 5天：部门...
2019-12-20 23:58:50
1192
原创 Spark Streaming
Spark Streaming概述Spark Streaming是对于Spark core API的拓展（因为是基于Spark core，所以安装完Spark就能直接使用Spark Streaming），从而支持对于实时数据流的可拓展，高吞吐量和容错性流处理。数据可以由多个源取得，例如：Kafka，Flume，Twitter，ZeroMQ，Kinesis或者TCP接口，同时可以使用由如map，...
2019-12-17 17:42:37
232
原创 spark SQL
spark SQL 概述Spark SQL是Apache Spark的用于处理结构化数据的模块。强调的是"结构化数据"，而非"SQL"Spark SQL 提供的操作数据的方式SQL DataFrame API Dataset API集成将SQL查询与Spark程序无缝混合。Spark SQL使您可以使用SQL或熟悉的DataFrame API在Spark程序中查询结构化数...
2019-12-17 12:21:10
208
原创 spark core 进阶
spark核心概念Application 基于Spark的用户程序。由群集上的adriver programandexecutors组成。=1 driver +多个executors Application jar 一个包含用户的Spark应用程序的jar。在某些情况下，用户将希望创建一个包含其应用程序及其依赖项的“超级jar”。用户的jar绝不能包含Hadoop或S...
2019-12-13 16:07:16
203
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人