大雄号-CSDN博客

原创 pyspark遇到的坑

expected zero arguments for construction of ClassDict (for numpy.dtype)

2022-10-14 16:19:33 714

原创 docker学习

一、docker安装（1）yum -y install gcc yum -y install gcc-c++（2）卸载旧版本$ sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ ...

2020-12-30 17:21:28 325

原创 Kafka学习笔记

目录一 Kafka概述1.1 Kafka是什么1.2 Kafka内部实现原理1.2 为什么需要消息队列1.3 Kafka架构二 Kafka集群部署2.1 环境准备2.1.1 集群规划2.1.2 jar包下载2.1.3 虚拟机准备2.1.4 安装jdk2.1.5 安装Zookeeper2.2 Kafka集群部署2.3 Kafka命令行操作2...

2020-03-04 22:26:51 1280

原创 hive学习总结

目录一、是什么（1）Hive的几个特点（2）Hive架构（3）Hive的核心（4）Hive的底层存储（5）Hive语句的执行过程二、安装部署三、连接hive（1）通过beeline连接（2）直接连接四、表1 、表的分类（1）管理表（内部表）（2）外部表（3）分区表2、创建表3、重命名表4、增加/修改/替换列信息5、复...

2019-12-23 17:41:23 1856

转载 Java序列化的相关内容（二）

一.Java序列化的作用有的时候我们想要把一个Java对象变成字节流的形式传出去，有的时候我们想要从一个字节流中恢复一个Java对象。例如，有的时候我们想要把一个Java对象写入到硬盘或者传输到网路上面的其它计算机，这时我们就需要自己去通过java把相应的对象写成转换成字节流。对于这种通用的操作，我们为什么不使用统一的格式呢？没错，这里就出现了java的序列化的概念。在Java的...

2019-08-22 11:14:21 411

转载 Java 序列化Serializable

1、什么是序列化和反序列化Serialization（序列化）是一种将对象以一连串的字节描述的过程；反序列化deserialization是一种将这些字节重建成一个对象的过程。2、什么情况下需要序列化a）当你想把的内存中的对象保存到一个文件中或者数据库中时候；b）当你想用套接字在网络上传送对象的时候；c）当你想通过RMI传输对象的时候；3、如何实现序列化将需要序列化...

2019-08-22 11:08:46 171

原创 TCP的三次握手和四次挥手

1.1、面向连接（三次握手）　　面向连接(三次握手)：在通信之前，会先通过三次握手的机制来确认两端口之间的连接是否可用。　　三次握手机制：　　　　　　　　　一开始客户端和服务端都是关闭状态，但是在某个时刻，客户端需要和服务端进行通信，此时双方都会各自准备好端口，服务器段的端口会处于监听状态，等待客户端的连接。　　客户端可会知道自己的端口号，和目的进程的端口号，这样才能发起请求...

2019-08-21 10:16:45 814

转载 Java集合源码分析

Java集合源码分析（一）ArrayListhttps://www.cnblogs.com/zhangyinhua/p/7687377.htmlJava集合源码分析（二）Linkedlisthttps://www.cnblogs.com/zhangyinhua/p/7688304.htmlJava集合源码分析（三）Vevtor和Stackhttps://www.cnblogs....

2019-08-02 10:06:05 538

转载 HashMap实现原理及源码分析

哈希表（hash table）也叫散列表，是一种非常重要的数据结构，应用场景及其丰富，许多缓存技术（比如memcached）的核心其实就是在内存中维护一张大的哈希表，而HashMap的实现原理也常常出现在各类的面试题中，重要性可见一斑。本文会对java集合框架中的对应实现HashMap的实现原理进行讲解，然后会对JDK7的HashMap源码进行分析。目录一、什么是哈希表二、HashMa...

2019-07-19 11:20:14 220

原创 mysql锁机制

目录一、概述1、定义2、分类二、表锁（偏读）1、特点2、表锁加读锁案例讲解3、表锁加写锁案例讲解4、案例结论5、如何分析表锁定三、行锁1、特点2、事务的ACID3、并发事务处理带来的问题（1）更新丢失（2）脏读事务A读取到事务B已修改但尚未提交的数据（3）不可重复读事务A读取到了事务B已经提交的数据（4）幻读事...

2019-01-23 17:39:39 592

原创 mysql优化大全（二）

目录第七章、索引优化（一）索引分析1、单表2、俩表3、三表（二）索引失效及优化1、最佳左前缀法则2、不要在索引列上做任何操作3、存储引擎不能使用索引中范围条件右边的列4、减少select * 的使用5、mysql在使用不等于（!=、<、>）的时候无法使用索引会导致全表扫描6、is null 、is not null 也无法使...

2019-01-22 22:49:27 1112 1

原创 mysql优化大全（一）

目录第一章、mysql框架一、mysql配置文件二、mysql的逻辑框架介绍1、总体概述2、详情说明3、存储引擎第二章：索引优化分析一、性能下降SQL慢，执行时间长，等待时间长原因二、SQL执行加载顺序1、手写的SQL2、机读3、总结第三章、七种join理论第四章、索引简介一、索引是什么二、索引优势和劣势1、优势2、劣势...

2019-01-21 10:43:36 1824

原创 linux上mysql的小知识

一、linux下数据库的备份和还原1、备份1 [root@CentOS ~]# mysqldump -u root -p mysql > ~/mysql.sql　　#把数据库mysql备份到家目录下命名为mysql.sql2 Enter password: 3 [root@CentOS ~]# ls ~/mysql.sql /root/mysql.sql 2、还原...

2018-12-29 11:44:22 205

原创 git学习笔记

目录一、版本控制简介1、版本控制2、版本控制工具3、版本控制工具应该具备的功能二、Git简介1、Git简史2、git的优势3、Git结构4、Git和代码托管中心5、本地库和远程库三、Git命令行操作1、本地库初始化2、设置签名3、基本操作3.1、状态查看3.2、添加3.3、提交3.4、查看历史记录3.5、前进后退...

2018-12-14 19:14:25 448

原创前端开发小知识

目录1、jq获取form中的数据并转为json字符串2、锁屏3、关于Dialog操作4、js、ajax前台传值后台中文乱码问题1、jq获取form中的数据并转为json字符串 var d = {}; var t = $('#myForm').serializeArray();//转为json对象数组｛name:aaa,value:aaa｝ ...

2018-12-05 14:44:22 559

转载算法复杂度 o(1), o(n), o(logn), o(nlogn)

在描述算法复杂度时,经常用到o(1), o(n), o(logn), o(nlogn)来表示对应算法的时间复杂度, 这里进行归纳一下它们代表的含义: 这是算法的时空复杂度的表示。不仅仅用于表示时间复杂度，也用于表示空间复杂度。 1、O后面的括号中有一个函数，指明某个算法的耗时/耗空间与数据增长量之间的关系。其中的n代表输入数据的量。 O(n)：就代表数据量增大几倍，耗时也增大几倍。比如常...

2018-11-24 10:32:21 530

原创多文件上传和排列预览，删除

目录1、网页效果图2、jar包3、网页代码4、java代码（1）用的是Struts2的action，其中有对数据库的插入删除（2）bean类（3）文件上传，下载的工具类5、strut2的xml中下载的配置6、bootstrap-fileinput的一些参数1、网页效果图2、jar包文件上传的jar包为 bootstrap-fileinp...

2018-11-15 10:14:42 1303

原创数据结构学习笔记

目录第一部分数据结构概述一、定义（研究是数据结构的存储和数据的操作的）二、算法三、数据结构的地位第二部分预备知识一、指针二、结构体三、动态内存的分配和释放第三部分模块一：线性结构 [把所有的结点用一条直线穿起来] 一、连续存储[数组] 二、离散存储[链表] 三、线性结构的两种常见应用之一栈四...

2018-10-18 23:09:33 770

原创指针学习（c语言）

1、内存的存储是以一个字节为一个编号，也就是8位合在一起给一个编号，不是0,1就给编号。内存分为很多个单元，每个单元就会分配一个编号。2、地址：内存单元的一个编号。而指针和地址一个概念的。也就是说指针就是地址。3、普通变量：只能存放一个值。指针变量：同样是一个变量，但是指针变量存放其他变量的地址。*p代表的是p所指向的那个变量。在上图中*p和i是同一个东西，但是*...

2018-09-27 18:47:08 273

原创常用js验证

目录一、js验证金额二、js字符串转数字1. 转换函数：2. 强制类型转换三、js 取小数点后几位几种方法1.通过substring截取2. 正则表达式3.数据类型保留上4.toFixed方法四、js验证身份证五、判断是否是手机号一、js验证金额<html lang="en"><head> <meta c...

2018-09-26 11:14:09 2263

原创运用Lucene全文检索一句话

目录一、项目需求二、项目开发所需基本知识三、项目结构四、代码1、com.xiong.bean.LuceneBean.java2、package com.xiong.lucene.OperateLucene.java3、com.xiong.utils.DocementUtil.java4.com.xiong.Test.java5.IKAnalyzer.cfg.xm...

2018-09-23 17:57:21 736

原创 Lucene全文索引学习笔记(一)

目录一、全文检索与数据库搜索的区别1.1、数据库的搜索 1.2、全文检索二、Lucene入门2.1、 Lucene是什么？2.2、Lucene的结构2.3、开发环境2.4.1、建立索引结构图2.4.2、代码2.5.1、搜索结构图2.5.2、代码2.6、Lucene知识点三、分词器3.1、英文分词器3.2、中文分词器3.3 IKAn...

2018-09-23 17:34:07 506

原创 MongoDB学习笔记（二）

目录一、游标操作 cursor二、索引创建1、概述2、常用命令三、Mongodb导出与导入四、mongodb的用户管理一、游标操作 cursor1、游标是什么?通俗的说,游标不是查询结果,而是查询的返回资源,或者接口.通过这个接口,你可以逐条读取.2、声明游标:var cursor = db.collectioName.find(query...

2018-09-19 22:58:26 543

原创 MongoDB学习笔记（一）

一、概述1、mongodb 文档数据库,存储的是文档 (Bson->json的二进制化）特点:内部执行引擎为JS解释器, 把文档存储成bson结构,在查询时,转换为JS对象,并可以通过熟悉的js语法来操作.2、mongo和传统型数据库相比,最大的不同:传统型数据库: 结构化数据, 定好了表结构后,每一行的内容,必是符合表结构的,就是说--列的个数,类型都一样.mongo文...

2018-09-19 17:47:12 959

原创 Nginx+Tomcat+Memcached部署

目录一、安装tomcat二、创建一个动态web工程，并部署到tomcate上三、安装Nginx，并配置负载均衡。四、基于memcached配置tomcate，共享session环境清单列表：　　应用服务器1：192.168.51.10；　　应用服务器2:192.168.55.110；　　memcached服务器：192.168.51.75；　　Nginx地址：192....

2018-09-04 20:44:54 583

原创 Linux下安装Memcached服务器

Memcached概念　　Memcached是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。　　MemCache的工作流程如下：先检查客户端的请求数据是否在memcached中，如有，直接把请求数据返回，不再对数据库进行任何操作；如果请求的数据不在memcached中，就去查数据库，把从数据库中获取的数据返回给客户端，同时把数据缓存一份到memcached中（me...

2018-09-04 20:11:58 226

原创 linux下安装两个或多个tomcat

（1）编辑环境变量：vi /etc/profile加入以下代码(tomcat路径要配置自己实际的tomcat安装目录)##########first tomcat###########CATALINA_BASE=/usr/local/tomcatCATALINA_HOME=/usr/local/tomcatTOMCAT_HOME=/usr/local/tomcatexport C...

2018-09-04 19:41:54 237

原创 Linux网络配置学习笔记

一、Linux中网络相关的主要的几个配置文件为：/ect/hosts 配置主机名（域名）和IP地址的对应/etc/sysconfig/network 配置主机名和网关/etc/sy...

2018-09-01 00:13:48 463

转载 Linux查看端口状态

netstat命令各个参数说明如下：　　-t : 指明显示TCP端口　　-u : 指明显示UDP端口　　-l : 仅显示监听套接字(所谓套接字就是使应用程序能够读写与收发通讯协议(protocol)与资料的程序)　　-p : 显示进程标识符和程序名称，每一个套接字/端口都属于一个程序。　　-n : 不进行DNS轮询，显示IP(可以加速操作)即可显示当前服务器上所有端口及进程...

2018-08-29 21:32:49 313

1什么是NginxNginx("enginex")是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP代理服务器，在高连接并发的情况下Nginx是Apache服务器不错的替代品.其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好.目前中国大陆使用nginx网站用户有：新浪、网易、腾讯，另外知名的微网志Plurk也使用nginx。...

2018-08-28 23:19:44 221

转载 CentOS7使用firewalld打开关闭防火墙与端口

1、firewalld的基本使用启动： systemctl start firewalld关闭： systemctl stop firewalld查看状态： systemctl status firewalld 开机禁用： systemctl disable firewalld开机启用： systemctl enable firewalld 2.syste...

2018-08-28 19:49:56 205

原创 Maven学习笔记

一、为什么使用maven项目过大，不适合继续使用package来去划分模块，最好一个模块对应一个工程，借助Maven就可以将一个项目分成几个工程同样的jar包文件重复出现在不同的项目工程中，浪费存储空间，工程臃肿，借助Maven，将jar包仅仅保存在“仓库”中有需要使用的工程“引用”这个文件的接口，并不需要吧jar包复制过来借助Mavev可以以一种规范的方式下载jar包，所有的知名框架...

2018-08-25 12:36:51 226

转载 html跳转，获取get提交参数

html跳转到html页面，url后面携带参数，可以通过脚本获取到url?test=value地址后的参数。1、more.html 携带参数跳转到list.html，get提交参数2、list.html 获取more.html提交过来参数1、more.html：[javascript] view plain copy<script> function test() { w...

2018-06-19 19:15:10 8534

原创 Redis的事务

一、是什么（1）可以一次执行多个命令，本质是一组命令的集合。一个事务中的所有命令都会序列化，按顺序地串行化执行而不会被其它命令插入，不许加塞（2）一个队列中，一次性、顺序性、排他性的执行一系列命令二、常用命令* discard　　　　　　　　　　　　　　丢弃所有multi之后发的命令 * exec　　　　　　　　　　　　　　　执行所有multi之后发放人命令 * multi　　　　　...

2018-06-18 20:27:31 195

原创 redis的持久化（RDB/AOF）

一、RDB1、RDB是什么（1）在指定的时间间隔内将内存中的数据集快照写入磁盘，也就是行话讲的Snapshot快照，它恢复时是将快照文件直接读到内存里（2）Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。整个过程中，主进程是不进行任何IO操作的，这就确保了极高的性能如果需要进行大规模数据的恢复，且...

2018-06-18 19:52:05 254

原创 redis主从复制(Master/Slave)

一、是什么主从复制，主机数据更新后根据配置和策略，自动同步到备机的master/slaver机制，Master以写为主，Slave以读为主二、能干嘛（1）读写分离（2）容灾恢复三、怎么用（1）配从(库)不配主(库)（2）从库配置：slaveof 主库IP 主库端口每次与master断开之后，都需要重新连接，除非你配置进redis.conf文件 ...

2018-06-18 17:51:16 317

原创 redis配置

redis.conf 配置项说明如下：一、GENERAL通用1. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程 daemonize no2. 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定 pidfile /var/run/redis.pid3. 指定Redis监听端口，...

2018-06-18 12:22:31 298

原创 redis五大数据类型及常用命令

1.keys键操作（非五大类型）exists key　　　　　　　　　　　　　测试指定key是否存在keys * 查询所有的keyexpire key seconds 为key指定过期时间ttl key ...

2018-06-16 16:30:30 671

dhtmlxGantt_v4.0.0

多文件上传和展示

MongoDB命令

空空如也