- 博客(4520)
- 收藏
- 关注
RSS订阅转载 c# winform运行时cpu占用过高
c# 运行winform运行时发现cpu占用特别高，检查发现开了几个线程一直在循环解析数据，然后在循环里加了个thread.sleep（2），问题解决。转载于:https://www.cnblogs.com/lypstudy/p/11528012.html...
2019-09-16 16:27:00
971
转载 http协议
什么是http和https协议http协议：全称是HyperText Transfer Protocol，中文意思是超文本传输协议，是一种发布和接受HTML页面的方法，服务器端口号是80端口。https协议：是HTTP协议的加密版本，在HTTP下加入了SSL层。服务器端口号是443端口。在浏览器冲发送一个http请求的过程1. 用户输入网址，浏览器发起DNS...
2019-09-14 22:34:00
69
转载 Python 爬虫
爬虫基础爬虫前奏http协议urllib库持续更新转载于:https://www.cnblogs.com/jeavy/p/11493699.html
2019-09-14 22:34:00
67
转载 总结回顾js arr的常见方法以及相关的使用场景（一）
Array对象方法1.arr.concat() 连接两个或更多的数组，并返回结果。连接数组中的值连接两个数组连接三个数组2.arr.join()把数组的所有元素放入一个字符串。元素通过指定的分隔符进行分隔。并返回一个字符串通常用作数组转字符串的方法。(以下是经常会用到的)// arr 变 strarr.join()// str 变 a...
2019-09-14 16:35:00
265
转载 004-SaltStack入门篇之数据系统Grains、Pillar
1、什么是Grains？Grains是saltstack的组件，用于收集salt-minion在启动时候的信息，又称为静态信息。可以理解为Grains记录着每台Minion的一些常用属性，比如CPU、内存、磁盘、网络信息等。我们可以通过grains.items来查看某台Minion的所有Grains信息。Grains是服务器的一系列粒子信息，也就是服务器的一系列物理，软件环境信息。...
2019-09-11 14:28:00
77
转载 003-SaltStack入门篇之远程执行和配置管理
第一条命令：[root@linux-node1 master]# salt '*' test.pinglinux-node2.example.com: Truelinux-node1.example.com: True说明：salt：命令*：匹配目标，使用通配符test.ping：模块.方法 #此处的ping并非ICMP...
2019-09-10 16:46:00
85
转载 爬虫前奏
爬虫的实际例子搜索引擎（百度，谷歌，360搜索等）。伯乐在线。（网站里的内容都是从别的爬取，相当于搬运工）惠惠购物助手。数据分析和研究（数据冰山知乎专栏）。抢票软件。什么是爬虫 1. 通俗理解，爬虫是模拟人请求网站的程序。可以自动请求网页，并将数据抓取下来，然后使用一定的规则提取有价值的数据。 2. 专业介绍：百度百科通用爬虫和聚焦爬虫...
2019-09-09 22:00:00
55
转载 MySQL开启日志
show variables like '%log%';show variables like '%general_log'; -- ON开启日志，OFF关闭日志，默认好像是关闭的show variables like '%general_log%'; -- 当log_output指定为FILE时，日志输出的内容存放文件地址show variables like '%lo...
2019-09-09 09:11:00
104
转载 MySQL的验证方式
mysql8之后root用户的密码验证方式修改了，mysql8的加密方式为caching_sha2_passoword，而navicat连接所用的方式为native_password。使用命令mysql -uroot -proot进入mysql库，查看user表，可以看到root加密方式use mysql;select host,user,plugin from user \...
2019-09-08 11:18:00
291
转载 SPARK之任务和资源
输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一个输入分片，称为InputSplit，注意InputSplit不能跨越文件。随后将为这些输入分片生成具体的Task。InputSplit与Task是一一对应的关系。随后这些具体...
2019-09-07 20:30:00
103
转载 垃圾收集器与内存分配策略
1 概述 程序计数器、虚拟机栈、本地方法栈3个区域随线程而生，随线程而灭；栈中的栈帧随着方法的进入和退出而有条不紊地执行着出栈和入栈操作。每一个栈帧中分配多少内存基本上是在类结构确定下来时就已知的，因此这几个区域的内存分配和回收都具备确定性，在这几个区域就不需要过多考虑回收的问题，因为方法结束或者线程结束时，内存自然就跟着回收了。 Java堆和方法区则不一样，一个接口中的多个...
2019-09-07 17:06:00
117
转载 递归之汉诺塔问题
汉诺塔问题：古代有一个梵塔，塔内有三个座A,B,C。A座上有64个盘子，盘子大小不等，大的在下，小的在上（如图）。有一个和尚想把这64个盘子从A座移动到C座，但是每次只允许移动一个盘子，并且在移动过程中，3个座上的盘子始终保持大盘在下，小盘在上。在上述移动过程中可以利用B座，要求输出一定的步骤：求解思路：可以将问题求解简单分为三个步骤：（1）把n-1个盘子由A...
2019-09-07 15:57:00
100
转载 P1525 关押罪犯
P1525 关押罪犯提供一种做法：并查集。考虑a和b之间有仇恨关系，存入结构体中。因为有对应关系，且结构体带有权值，答案求最值，考虑排序。如果把仇恨值最大的放在一个监狱，而仇恨值比他们小的放在不同监狱，显然不可能是ans。所以我们把仇恨值从大到小排序，对于每个结构体，我们把两个人分开放。如果发现，这两个人已经在一个监狱，输出结果则为ans。代码中for到m+1...
2019-09-07 13:23:00
62
转载 002-Saltstack自动化操作记录（2）-配置使用
之前梳理了就是第一篇001，下面说说saltstack配置及模块使用：为了试验效果，再追加一台被控制端minion机器192.168.1.118需要在master控制端机器上做好主机名映射关系123456[root@linux-node1 ~]# cat /etc/hosts127.0.0.1 local...
2019-09-06 17:59:00
69
转载 001-SaltStack入门篇（一）之SaltStack部署
早期运维工作中用过稍微复杂的Puppet，下面介绍下更为简单实用的Saltstack自动化运维的使用。Saltstack知多少Saltstack是一种全新的基础设施管理方式，是一个服务器基础架构集中化管理平台，几分钟内便可运行起来，速度够快，服务器之间秒级通讯，扩展性好，很容易批量管理上万台服务器，显著降低人力与运维成本；它具备配置管理、远程执行、监控等功能，一般可以理解为简化版的p...
2019-09-06 17:50:00
166
转载 Scrapy 框架的使用
Scrapy 框架的介绍 Scrapy 是一个基于Twisted的异步处理框架，是纯Python实现的爬虫框架，其架构清晰模块之间的耦合成都低，可扩展性极强，可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松实现一个爬虫。1. 架构介绍它可以分为如下几个部分。Engine 引擎，处理整个系统的数据流处理，触发事务，是整个框架的核心。Item 项目...
2019-09-05 23:09:00
63
转载 SPARK之分区器
Spark目前支持Hash分区和Range分区，用户也可以自定义分区，Hash分区为当前的默认分区，Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数只有Key-Value类型的RDD才有分区器的，非Key-Value类型的RDD分区器的值是None每个RDD的分区ID范围：0~numPartit...
2019-09-04 08:31:00
172
转载 reduceByKey和groupByKey的区别
reduceByKey：按照key进行聚合，在shuffle之前有combine（预聚合）操作，返回结果是RDD[k,v] groupByKey：按照key进行分组，直接进行shuffle建议使用reduceByKey。但是需要注意是否会影响业务逻辑转载于:https://www.cnblogs.com/xiangyuguan/p/11456759.h...
2019-09-04 07:55:00
72
转载 coalesce和repartition的区别
coalesce重新分区，可以选择是否进行shuffle过程。由参数shuffle: Boolean = false/true决定repartition实际上是调用的coalesce，默认是进行shuffle的转载于:https://www.cnblogs.com/xiangyuguan/p/11456753.html...
2019-09-04 07:45:00
100
转载 SPARK之map()和mapPartition()的区别
map()：每次处理一条数据mapPartition()：每次处理一个分区的数据，这个分区的数据处理完后，原RDD中分区的数据才能释放，可能导致OOM当内存空间较大的时候建议使用mapPartition()，以提高处理效率转载于:https://www.cnblogs.com/xiangyuguan/p/11455869.html...
2019-09-03 21:39:00
176
转载 023-zabbix性能优化中的几个中肯建议
随着zabbix的广泛应用，少数人的zabbix服务器在性能上出现瓶颈，或者在未来会出现性能方面的瓶颈，接下来讨论几个有效并且简单的优化方案。服务器硬件想通过几个简单的配置让服务器提高成倍的性能，想法很好，但是基本不太现实。简单的说，你需要搭配更好的CPU、更大的内存，更快的硬盘：条件允许的花，可以考虑购买SSD，它比更大的cpu和更大的内存带来的效果更好，或者考虑使用SAS 1...
2019-09-02 17:53:00
569
转载 021-Zabbix4.2对IIS监控摸索记录
Zabbix是很强大，但是相关的细节技术文档貌似很少，摸索之路就显得异常难。 度娘搜了下，关于Zabbix对IIS的监控资料确实有，确实也讲如何操作了，但是细细按照对方的要求操作下，总是缺数据，no data。费劲了几天，突然一下开窍似的发现了关键点，之前的no data在修改配置文件后全部有了数据，尽管数据不全、还不是很完美，但是确实达到某种预期。技术之路，贵在...
2019-09-02 17:48:00
77
转载 阿里云Linux（Centos7）下搭建SVN服务器
1，使用yum安装SVNyum -y install subversion安装完成之后，验证安装结果svn help2，新建仓库目录在/usr/soft目录下面创建一个svn目录，用来作为svn存储目录，命令如下：mkdir /usr/soft/svn3，创建一个仓库svnadmin create /usr/soft/svn/...
2019-09-01 03:09:00
106
转载 020-zabbix修改主机名为中文名
我这边zabbix版本有2.4和3的都有。要让zabbix主机名支持中文，，需要修改zabbix的php代码文件，如下图修改完中文主机名是不支持的：实现步骤：进到zabbix web目录，一般在/var/www/zabbix或者/usr/share/zabbix下一、修改/usr/share/zabbix/include/defines.inc.php...
2019-08-30 21:21:00
206
转载 MySQL函数与存储过程
一、函数，参考博客：https://www.cnblogs.com/progor/p/8871480.html/*函数：函数只会返回一个值，不允许返回一个结果集。函数强调返回值，所以不允许返回多个值的情况，即使是查询语句。多个入参之间使用逗号分隔。注意事项：在函数中，如果查询的表中字段与参数名相同，需要给字段名前面加上别名，不然在识别的时候有问题，程序不会报错，但查询结果...
2019-08-30 09:50:00
99
转载 SPARK 重要角色
Driver（驱动器）Spark的驱动器是执行开发程序中的main方法的进程。它负责开发人员编写的用来创建SparkContext、创建RDD，以及进行RDD的转化操作和行动操作代码的执行把用户程序转为作业（JOB）跟踪Executor的运行状况为执行器节点调度任务UI展示应用运行状况...
2019-08-29 14:57:00
198
转载 SPARK 组成模块
Spark Core实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义Spark SQL是Spark用来操作结构化数据的程序包。通过Spark SQL，我们可以使用 SQ...
2019-08-29 14:47:00
276
转载 Springboot +vue 实现导出功能
最近在工作遇到vue和Springboot 实现导出功能，翻看很多资料，发现一些博客写法都过时了，所以自己特此记录下，使用版本vue2,Springboot 2x以上,chrome浏览器76.0.3809.100vue 2写法let blob = new Blob([res.data], { type: 'application/octer-stream' });其中...
2019-08-29 13:10:00
822
转载 JAVA金额格式字符串转数值
项目中有时会遇到对金额格式的数值如“1,234.34567”进行计算，直接使用Double.parseDouble(“1,234.34567”)会抛出NumberFormatException异常， 那么，有没好的方法解析金额格式的数值？ jdk中提供了NumberFormat支持，它的format方法可以将数值转成金额格式字符串，parse方法能解析金额格式的字符串，如下：Nu...
2019-08-29 12:10:00
179
转载 Vue组件化开发（原有项目的改造）
将组件定义成一个js和css，然后供其他页面进行调用demo.html<!DOCTYPE html><html><head><meta charset="UTF-8"><title>Insert title here</title><script type="text/javas...
2019-08-29 11:04:00
123
转载 019-zabbix数据库表详解
https://www.cnblogs.com/yaoyaojcy/p/10367945.html1. 查看目前zabbix系统所有数据表：1234567891011121314151617181920212223242526...
2019-08-28 09:26:00
1284
转载 js 原生功底 （一）
欢迎大家一起学习，点击查看转载于:https://www.cnblogs.com/sweet-ice/p/11421948.html
2019-08-28 08:58:00
131
转载 017-zabbix_proxy分布式监控部署
一、proxy分布式监控介绍来源于zabbix官网：https://www.zabbix.com/documentation/3.4/zh/manual/distributed_monitoring/proxieszabbix通过Zabbix proxies为IT基础设施提供有效和可用的分布式监控代理(proxies)可用于代替Zabbix server本地收集数据，然后...
2019-08-27 15:48:00
191
转载 HIVE调优之JVM重用
Hadoop的默认配置通常是使用派生JVM来执行map和Reduce任务的。这时JVM的启动过程可能会造成相当大的开销，尤其是执行的job包含有成百上千task任务的情况。JVM重用可以使得JVM实例在同一个job中重新使用N次这个功能的缺点是，开启JVM重用将一直占用使用到的task插槽，以便进行重用，直到任务完成后才能释放。如果某个“不平衡的”job中有某几个re...
2019-08-27 09:32:00
388
转载 HIVE调优之严格模式
设置为严格模式后，可以禁止3种类型的查询带有分区的表的查询如果在一个分区表执行hive，除非where语句中包含分区字段过滤条件来显示数据范围，否则不允许执行。换句话说就是在严格模式下不允许用户扫描所有的分区，进行这个限制的原因是，通常分区表都拥有非常大的数据集，而且数据增加迅速。如果不进行分区限制的查询会消耗巨大的资源来处理带有ord...
2019-08-27 09:25:00
117
转载 HIVE调优之并行执行
Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段，或者Hive执行过程中可能需要的其他阶段。默认情况下，Hive一次只会执行一个阶段。不过，某个特定的job可能包含众多的阶段，而这些阶段可能并非完全互相依赖的，也就是说有些阶段是可以并行执行的，这样可能使得整个job的执行时间缩短。不过，如果有更多的阶段可以并行执行，那...
2019-08-27 08:51:00
157
转载 HIVE调优之分桶
分桶规则对分桶字段值进行哈希，哈希值除以桶的个数求余，余数决定了该条记录在哪个桶中，也就是余数相同的在一个桶中分桶优点提高join查询效率:假设表A和表B进行join，join的字段为id条件：两个表为大表两个表都为分桶表A表的桶数是B表桶数的倍数或因子这样join查询时候，表A的每个...
2019-08-27 08:15:00
122
转载 018-zabbix_api
Zabbix API 简介Zabbix API 开始扮演着越来越重要的角色，尤其是在集成第三方软件和自动化日常任务时。很难想象管理数千台服务器而没有自动化是多么的困难。Zabbix API 为批量操作、第三方软件集成以及其他作用提供可编程接口。Zabbix API 是在 1.8 版本中开始引进并且已经被广泛应用。所有的 Zabbix 移动客户端都是基于 API，甚...
2019-08-26 17:16:00
106
转载 HIVE调优之行列过滤
列处理：在SELECT中，只拿需要的列，如果有，尽量使用分区过滤，少用SELECT 行处理：在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤转载于:https://www.cnblogs.com/xiangyuguan/p/11412850.html...
2019-08-26 15:33:00
526
转载 HIVE调优之去重统计
SELECT COUNT( DISTINCT id ) FROM TABLE_NAME WHERE ...; 对一个表中符合条件的记录统计不重复的id的总数。由于引入了DISTINCT，因此在Map阶段无法利用combine对输出结果消重，必须将id作为Key输出，在Reduce阶段再对来自于不同Map Task、相同Key的结果进行消重，计入最终统计值。作业运行时的Reduce T...
2019-08-26 15:24:00
502
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人