- 博客(48)
- 收藏
- 关注
RSS订阅原创 我不是非酋之-天空概率
最近入坑了dnf手游，染上了合天空，大黑蛋子一个，突发奇想，模拟下合天空概率，看看是否真的有20%。梳理代码逻辑如下：不考虑礼包和其他东西。
2024-09-02 18:13:33
289
1
原创 anaconda环境配置
在内网环境下，conda创建虚拟环境时，根据conda命令，到远程channel中取下载需要的包，所以存在一个联网的过程，需要在联网环境下载需要的安装包，之后拷贝到内网环境，再创建环境。下载完成后在conda的pkgs目录下把相关依赖包上传到离线conda的对应pkgs目录下。* 指定环境安装package，不加-n则安装在当前活跃环境。–download-only ：表示只下载，不创建环境。–offline: 离线创建环境。2、内网环境创建虚拟环境。1、联网环境下载安装包。
2023-02-23 10:43:06
504
原创 Idea连接数据库
最近要做个小东西玩，之前破解的数据库工具挂了，又懒得搞一个了，然后选择idea自带的功能，下面是一点帮助。报错：Connection to mztt@localhost failed.[08001] Could not create connection to database server. Attempted reconnect 3 times. Giving up.查了一下，果然我不是一个人。原因大体分为俩个：Mysql服务没启动url需要时区参数解决方法：win + r
2021-06-11 18:17:09
156
原创 java方法多参的优雅写法
在封装接口时，常常遇到参数很多，不利于维护改造，找到优雅的写法。import java.lang.reflect.Field;/** * @Author: mztt * @Description: sing jump rap bascketball * @Date: Created in 16:38 2020/2/18 * @Modified By:mztt */public c...
2020-02-18 16:55:12
1003
原创 数据存储必知必会
背景在操作系统出现之后，随着计算机应用范围的扩大、需要处理的数据迅速膨胀。最初，数据与程序一样，以简单的文件作为主要存储形式。以这种方式组织的数据在逻辑上更简单，但可扩展性差，访问这种数据的程序需要了解数据的具体组织格式。当系统数据量大或者用户访问量大时，应用程序还需要解决数据的完整性、一致性以及安全性等一系列的问题。因此，必须开发出一种系统软件，它应该能够像操作系统屏蔽了硬件访问复杂性那样，...
2020-02-18 10:34:54
331
转载 数据库优化
判断问题SQL判断SQL是否有问题时可以通过两个表象进行判断： 系统级别表象<ul><li> <div>CPU消耗严重</div> </li> <li> <div>IO等待严重</div> </li> <li> <div>页面响应时间过长<...
2019-12-16 18:31:30
115
原创 com.mysql.jdbc.Driver'&&java.sql.SQLException解决
com.mysql.jdbc.Driver，已弃用。新类是com.mysql.cj.jdbc.Driver，建议换成新类。原因：太喜欢用新鲜的，mysql驱动太新了，数据库是5.7.25，驱动 8.0.15当我在测试端口的时候又来事了,驱动太新，数据库时间服务没有统一。.
2019-07-22 11:43:14
1899
原创 冒泡排序--较优
冒泡排序：重复访问待排序数，遍历素组，元素俩俩比较，每次将需要的元素选出来。优化：当一趟遍历中数组元素都没有发生交换，数组已经有序。选择排序：这俩个东西很像，选择是假定一个最小（大）的元素，遍历比较，小于它就重新赋值，每次选择一个有序序列出来。 public void BubblSort(int[] arr) { for (int i = 1; i < arr.len...
2019-07-02 17:54:44
151
原创 二分查找--简洁、安全的实现
二分适用于：数据呈现某种规律（有序） ;算法 时间复杂度 log(n);实现循环实现，没瑕疵的 public static int binarySearch(int[] arr, int num) { int nuMax = arr.length - 1; int nuMin = 0; while (nuMin <= nuMax...
2019-06-28 13:05:50
151
原创 node 便携式开发
使用portablegit安装@vue/cli时报错：Install fail! Error: EISDIR: illegal operation on a directory, symlink'F:\mynode\node_modules\@vue\cli\node_modules\_didyoumean@1.2.1@didyoumean''F:\mynode\node_modules\@...
2019-06-03 16:10:24
291
原创 mysql5.7 导入csv文件
想玩点东西，网上找点数据，导入数据库：字段有点多，懒得一个个创建。 Arrays.asList(list).stream().distinct().map(x -> x + " varchar(50),").forEach(i -> sql.append(i)); sql.deleteCharAt(sql.length() - 1).append(");");第一次导入是乱码，难受啊，看一下数据库编码my.ini:
2019-05-16 16:48:50
948
原创 python中 remove，pop、del 区别
场景：s = [2, 4, 6, 8]for i in s: if(i%2 == 0): s.remove(i)结果：s : [4, 8]why?不该是None吗？特此补充一波。removeremove() 函数用于移除列表中某个值的第一个匹配项，无返回值。list = [13, 7, 11, 7, 23]list.remove(7)print(list)输出：...
2019-04-23 18:17:36
1437
转载 memcache、redis如何选择？
memcache和redis是互联网分层架构中，最常用的KV缓存。不少同学在选型的时候会纠结，到底是选择memcache还是redis。画外音：不鼓励粗暴的实践，例如“memcache提供的功能是redis提供的功能的子集，不用想太多，选redis准没错”。...
2019-04-23 17:34:11
225
转载 Elasticsearch OR Solr 选择
搜索引擎选型调研文档Elasticsearch简介*Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。它可以用于全文搜索，结构化搜索以及分析，当然你也可以将这三者进行组合。Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开源搜索...
2019-04-23 17:31:40
181
原创 mysql5.7Windows安装
mysql5.7获取：链接：https://pan.baidu.com/s/14H_zOkpMgDD4h3Ia3zIkXA 提取码：clmm解压之后创建my.ini[mysql]# 设置mysql客户端默认字符集default-character-set=utf8 [mysqld]# 设置3306端口port = 3306 # 设置mysql的安装目录basedir=C:\U...
2019-04-18 15:02:41
353
原创 java部署出错：java.lang.ClassNotFoundException: org.apache.jsp.index_jsp
下午部署项目出错，maven 引入jstl 是 1.2， 解决如下：错误：1.The absolute uri: http://java.sun.com/jsp/jstl/core cannot be resolved in either web.xm2.java.lang.ClassNotFoundException: org.apache.jsp.index_jsp解决最后在goo...
2019-03-30 18:09:08
5566
原创 python爬虫获取饮食信息存储到数据库
连接数据库import pymysqlclass Mysqlconnect(object): def __init__(self): self.host = 'localhost' self.port = 3306 self.user = 'root' self.password = 'root5454' ...
2019-03-20 11:22:53
636
原创 Elasticsearch&jieba初试
自带分词效果没有jieba理想，关于二者的使用颇多。踩坑如下[6.4.1zip下载](https://github.com/sing1ee/elasticsearch-jieba-plugin/archive/v6.4.1.zip)或者下载下来自己编译，我用的是6.6.1tar -zxvf elasticsearch-6.6.2.tar.gzcd elasticsearch-6.6.2/bin./elasticsearch剩下的是添加jieba分词插件（个人喜爱）...
2019-03-13 16:36:14
1173
转载 spark&storm优缺点
spark与storm的对比 对比点StormSpark Streaming实时计算模型纯实时，来一条数据，处理一条数据准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理实时计算延迟度毫秒级秒级吞吐量低高事务机制支持完善支持，但不够完善
2019-02-25 21:01:44
2655
转载 Elasticsearch的探索
最近在学习es逛博客的时候，发现这篇文章原文链接，学习一下。spark接入ES可以使用多种方式，常见类型如下。将Map对象写入ElasticSearch 将case class 类对象写入ElasticSearch 将Json的字符串写入ElasticSearch本文主要介绍将case class 类对象写入ElasticSearch：也就是获取数据然后使用case class封装数据，...
2019-02-18 20:44:22
170
原创 给github加个速
访问github的时候，慢的受不了，而且总是让检查连接。逛了一圈，发现有个dns解析的，感觉可以试试，在此记录一下。修改系统的hosts文件（路径：C:\Windows\System32\drivers\etc）添加 192.30.253.112 github.com 151.101.72.133 assets-cdn.github.com 151.101....
2019-02-17 14:34:01
265
原创 hadoop ha 分布式高可用集群的爬坑之旅
看到好多关于hadoop ha的介绍，挺诱人，中间耽搁了一段时间，现在终于把它做了，我在原先的集群之上，花了5个多小时根据官网把hadoop ha 配置了，以下是这次的总结：配置启动查看HDFS ha 的配置**hdfs-site.xml **&amp;lt;?xml-stylesheet type=&quot;text/xsl&quot; href=&quot;configuration.xsl&quo
2019-01-02 17:36:32
256
原创 zookeeper
概念开源的分布式应用程序协调服务，一fast paxos 算法为基础，实现同步服务，配置，和命名等。作用将强集群稳定加强集群持续性保证集群有序性高效其他项目中的作用：其他项目中的作用：保证只有一个主节点，存储配置信息。例如，在Hbase 中，保证只有一个hmaster，监控hregionServer的联机和宕机，存储访问控制列表等。...
2018-12-29 10:23:51
137
原创 centos开机自启动脚本&死循环无法开机解决
问题：想写个自启动脚本偷个懒，发现重启之后没有进程，想到可能是脚本里程序执行太快，就写了个死循环测试下，然后偷懒不干了。设置开机自启动：# 编写一个简单的脚本,刚开始没执行，测试用的echo "echo 'this is a test' >> /opt/file.txt">> test.shchmod +x test.sh# 将脚本添加到/etc/rc.d/r...
2018-12-28 20:16:29
3376
原创 我理解的shuffle
HDFS里的文件是分块存放在Datanode上面的，mapper程序也是跑在各个节点上的。这里就涉及到一个问题，哪一个节点上的mapper读哪一些节点上的文件块呢？hadoop会自动将这个文件分片（split），得到好多split，这每一个split放到一个节点的一个mapper里面去读。然后在每一台有mapper任务的节点上都执行了这么一个操作，将分得到的split切割成一行一行的键值对，然...
2018-12-26 21:11:47
342
原创 HDFS
HDFS:Hadoop Distributed File System 分布式文件系统，为海量数据存储&amp;amp;amp;amp;计算服务，HDFS 将将要存储的大文件进行分割，分割到既定的存储块(Block)中进行了存储，并通过本地设定的任务节点进行预处理，从而解决对大文件存储与计算的需求。文件系统的名字空间HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录，然后将文件保存在这些目录里。文件系...
2018-12-25 16:03:15
234
原创 yarn
YARN：YARN的基本思想是将资源管理和作业调度/监视的功能分解为单独的守护进程。 ResourceManager负责集群中所有资源的统一管理和分配，它将各个资源部分（计算、内存、带宽等）精心安排给基础 NodeManager（YARN的每节点代理）。rourceManager 还与 ApplicationMaster 一起分配资源，与 NodeManager一起启动和监视它们的基础应...
2018-12-25 13:32:47
161
原创 hadoop总结-进程&功能
namenode :Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。它维护着文件系统树文件夹的元数据，元数据包括：fsimage:快照，存储某一时段NameNode内存元数据信息；edits:操作日志文件；Namenode是所有HDFS元数据的仲裁者和管理者，用户数据永远不会流过Namenode。安全模式：Namenode启...
2018-12-24 14:43:37
151
原创 hadoop总结-组件&简介
数据并行，处理串行！模块理解：HDFS：是一个高度容错性的系统，提供高吞吐量的数据访问，突破硬盘大小的限制，适合大规模数据集上的应用，可为yarn和Hbase服务。Yarn：通用的资源协同任务调度框架，解决namenode负载太大和其他问题，提高资源利用率，具有良好的扩展性，可用性，可靠性，向后兼容性。在YARN中，ResourceManager负责集群中所有资源的统一管理和分配，它接收来...
2018-12-23 21:06:17
160
原创 hadoop总结-配置
分布式部署：虚拟机，jdkhostname, hosts,关闭防火墙，selinux永久修改主机名centos6 (/etc/sysconfig/network) 或者 centos7 (/etc/hostname)关闭selinux /etc/sysconfig/selinux (防火墙和selinux开启会使许多服务端口关闭，挺麻烦，关了吧...
2018-12-23 15:34:19
163
原创 centOS7 systemctl，firewalld
systemctlsystemctl是CentOS7的服务管理工具，包含service和chkconfig的功能。启动一个服务：systemctl start firewalld.service关闭一个服务：systemctl stop firewalld.service重启一个服务：systemctl restart firewalld.service显示一个服务的状态：system...
2018-12-21 14:02:46
984
原创 ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock'
centOS安装运行报错：ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)解决：查找后发现少了一个依赖yum install -y mysql-devel完事！...
2018-10-31 08:45:59
1219
3
原创 python安装Mysql驱动
在用Scrapy框架爬取简书全部作者的信息数据时，想存到数据库里，发现没有mysql支持：直接用pip安装pip install mysql-python报错： Failed building wheel for mysql-python ... error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft ...
2018-10-29 19:03:02
781
原创 windows防火墙无法启动
防火墙无法启动问题：远程连接时防火墙无法启用解决：打开运行services.msc 进入服务Windows Firewall右键属性 设为自动再启用 一般来说就ok了然而，没这么顺利，启用仍旧是灰色的，没办法了改注册表吧运行 regedit 打开注册表照这个路径找：HKEY_CURRENT_USER \ SOFTWARE \ Policies \ Microsoft...
2018-10-21 19:30:30
5386
4
原创 Spark->预热
数据排序对输入文件中数据进行排序。输入文件中的每行内容均为一个数字，即一个数据。要求在输出中每行有两个间隔的数字，其中，第一个代表原始数据在原始数据集中的位次，第二个代表原始数据5956226509226546232654321575665223输出：1 22 63 154 225 266 327 328 549 9210 65011 6...
2018-10-17 19:33:11
461
原创 Scala 玩玩而已
1 编写一小段Scala代码，将某个文件中的行倒转顺序(将最后一行作为第一行,依此类推)import io.Sourceimport java.io.PrintWriter//不导包 io.Source.fromFile(path)val path = new PrintWriter("/home/mztt/test.txt")Source.fromFile("book.txt").ge...
2018-10-13 19:37:58
266
原创 大数据集群时间同步解决方案
大数据集群搭建时，集群无法启动时，可能是时间不同步，内网环境下，可以采用rdate命令更新时间，问题 ：集群无法启动日志中查看到错误：Server mini2,16020,1508608510960 has been rejected; Reported time is too far out of sync with master. Time difference of 42898735...
2018-09-27 20:05:49
1697
转载 PageRank 算法
目录：基本思想算法原理PR值计算方法 1.基本思想PageRank，即网页排名，是Google用来标识网页的等级或重要性的一种算法。最早的搜索引擎采用的是 分类目录 的方法，即通过人工对网页进行分类并整理出高质量的网站。随着网页数目的急剧增大，这种方法显然无法实施。于是，搜索引擎进入了 文本检索 的时代，即通过计算用户的查询语句...
2018-09-17 20:22:49
728
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人