2021年01月_weixin_39964528

原创 spark数据查询语句select_sparksql读取hive表中数据

文章目录spark sql与hive本地调试new HiveContext空指针异常权限: 异常执行select查询的时候找不到hostspark sql与hive本地调试将hive-site.xml文件拷贝到resource目录中pom.xmlorg.apache.sparkspark-hive_2.111.6.0代码import org.apache.spark.sql.hive.HiveCo...

2021-01-30 09:02:11 517

原创 php mysql备份成sql_单php文件实现备份MySQL导出为.sql数据库代码

最近处理一个客户的站点，对方主机商给的权限太小，建立目录都不能，也没办法上传帝国备份网备份，后台备份也可以，但是确实也很麻烦，有没有快的办法呢，其实客户那里可以上传单文件，这不写一个单文件代码，自动生成就可以了嘛，操作如下：单文件可实现mysql数据库备份，且生成.sql后缀；无需登录phpMyAdmin等软件在导出数据；代码如下：// 备份数据库$T_Host = "localhost"; //...

2021-01-28 12:29:23 123

原创 mysql 冷热数据分离_elasticsearch冷热数据读写分离

Elasticsearch5.5冷热数据读写分离前言冷数据索引：查询频率低，基本无写入，一般为当天或最近2天以前的数据索引热数据索引：查询频率高，写入压力大，一般为当天数据索引当前系统日志每日写入量约为6T左右，日志数据供全线业务系统查询使用。查询问题：高峰时段写入及查询频率都较高，集群压力较大，查询ES时，常出现查询缓慢问题。写入问题：索引峰值写入量约为12w/s，且无副本。加上副本将导致索引写...

2021-01-27 20:09:18 618

原创 mysql latid1_【转】mysql触发器的实战经验（触发器执行失败，sql会回滚吗） | 学步园...

1 引言Mysql的触发器和存储过程一样，都是嵌入到mysql的一段程序。触发器是mysql5新增的功能，目前线上凤巢系统、北斗系统以及哥伦布系统使用的数据库均是mysql5.0.45版本，很多程序比如fc-star管理端，sfrd(das)，dorado都会用到触发器程序，实现对于数据库增、删、改引起事件的关联操作。本文介绍了触发器的类型和基本使用方法，讲述了触发器使用中容易产生的误区，从m...

2021-01-27 16:17:19 209

原创 liunx导出mysql慢查询日志查看_查看 MySQL 慢查询日志文件-问答-阿里云开发者社区-阿里云...

查看 MySQL 是否启用了慢 SQL 查询：查看慢 SQL 日志是否启用。mysql> show variables like 'log_slow_queries';+------------------+-------+| Variable_name | Value |+------------------+-------+| log_slow_queries | ON |+...

2021-01-27 06:36:53 385

原创 layui循环数据并渲染_layui使用表格渲染获取行数据的例子

需求：使用前端框架layui生成表格，点击表格中一行数据中的按钮，获取到这行数据。解决办法：在render中增加字段：done: function (res, curr, count) {// $('.x-body').find('.layui-table-body').find("table").find("tbody").children("tr").on('click', function ...

2021-01-27 04:28:17 768

原创 java 只去掉_30行代码带你了解Java的Serializable接口

最近本栈在阅读Java的源码，发现JDK的String类实现了Serializable接口，并定义了一个serialVersionUID变量，它知道这个接口是为了让String类能够序列化与反序列化，但是为什么要实现这个接口才能序列化与反序列化呢？我们都知道，Serializable接口是为了让String对象可以被序列化与反序列化的，本着实践出真知的精神，我们一起来探索下如果不实现这个接口，会出...

2021-01-21 08:27:19 55

原创 mysql 查询优化实验报告_Mysql查询优化小结

数据类型简单原则：更小更好，简单就好，避免NULL1)整型如int(10)括号中的值与存储大小无关2)实数decimal比float与double占用更大存储空间且CPU不能直接对decimal进行计算3)字符串列最大长度<=255varchar使用一字节保存长度，否则使用2字节。char(10)括号中是字符数，而不是字节数(字节数与列字符集相关)。4)使用MYSQL的内建类型保存日期与时间...

2021-01-19 07:05:26 303

原创 mysql查询是否用index_mysql – 为什么这个查询使用where而不是index？

EXPLAIN EXTENDED SELECT `board` . *FROM `board`WHERE `board`.`category_id` = '5'AND `board`.`board_id` = '0'AND `board`.`display` = '1'ORDER BY `board`.`order` ASC上述查询的输出是id select_type tabl...

2021-01-19 06:38:51 70

原创 hive表结构同步到MySQL_Sqoop将MySQL表结构同步到hive(text、orc)

ThinkPHP3&period;1&period;3源码分析---php文件压缩zlib&period;output&lowbar;compression 和 ob&lowbar;gzhandler问题来源:\ThinkPHP3.1.3_full\ThinkPHP\Lib\Core\App.class.php 中 init()方法 if(C('O...

2021-01-19 03:01:37 305

原创 mysql pt_GitHub - hcymysql/pt-kill: Percona PT-kill重构版(PHP)

/**Percona PT-kill重构版(PHP)UPDATE:Modified by: hcymysql 2018/11/271、增加慢SQL邮件报警功能2、增加慢SQL微信报警功能环境准备:shell> yum install -y php-process php php-mysql*/概述原生Percona版 PT-kill(Perl)工具只是单纯的KILL掉正在运行中的慢SQL，而...

2021-01-19 01:22:56 105

原创 excel文件数据导入mysql数据库中_将excel里面的数据导入mysql数据库中

展开全部条件：PC端已经安装Navicat工具，并636f70793231313335323631343130323136353331333363386161且已经成功连接至数据库。1、点击鼠标右键，新建表2、例如，新建的表为对应生成的sql语句CREATETABLE`problem`(`id`int(10)NOTNULL,`link`varchar(255)DEFAULTNUL...

2021-01-18 20:30:05 100

原创 mysql怎么更新单一值_MySQL 如何更新某个字段的值为原来的值加1

electron打包1.全局安装electron-packager npm install -g electron-packager 2.在项目目录下执行命令 electron-packager ./ --platfor ...学习WPF——了解WPF中的XAMLXAML的简单说明 XAML是用于实例化.NET对象的标记语言,主要用于构建WPF的用户界面 XAML中的每一个元素都映射为.NET类的...

2021-01-18 18:51:22 682

原创 mysql语句报错1403_GoldenGate SQL error 1403 mapping 错误解决方案

GoldenGate SQL error 1403 mapping 错误解决方案故障现象：2011-09-06 15:45:29 WARNING OGG-01004 Oracle GoldenGate Delivery for Oracle, rora_001.prm: Aborted grouped transaction on 'REALESTATE.JZWFCMS', Database ...

2021-01-18 18:24:06 1155

原创 linux回到桌面的命令符_Linux命令行环境与桌面环境护切换

1、前言在大部分情况下，我们在使用Linux时习惯使用命令行环境，但是有时候也还是会使用到安装桌面环境，所以在这里介绍一下如何给没有安装桌面环境的系统安装桌面环境。以Centos 6.5 为例演示一下如何安装桌面环境。并且演示如何从桌面环境切换回命令行环境。2、环境准备Centos 6.5 minimal版或者basic server版，GNOME3、命令行环境下装桌面步骤3.1、查看系统的运行...

2021-01-17 15:23:33 3293

原创隔空投送安装ipa失败_codesign签名ipa

1、简介利用Xcode的命令security和codesign重签ipa文件。重签名与Xcode里用build打包时进行的签名操作是一个原理，具体来说，先了解一下iOS相关的证书类型。证书类型：证书类型使用场景开发(Development)证书和描述文件用于开发测试，在Xcode中打包后，可在真机环境调试、安装发布(Distribution)证书和描述文件用于提交Appstore...

2021-01-15 05:13:04 954

原创 scala 自带json_scala中复杂对象转JSON和解析的方法

比如有一个复杂对象：Map[Int, Map[Int, Double]]需要将其转为JSON保存，之后再读取使用，试了几种方法，最后的方案是：1、定义case class2、所有的数据类型都转为String(避免不必要的麻烦，至少Map的key都要为String，不然会报错scala.MatchError)3、Map必须是immutable.Map代码如下1、转jsonimport org.jso...

2021-01-14 05:58:23 830

原创自定义边界_如何批量生成CAD填充的边界？

下面是本公众号文章分类目录，点击标题文字可打开分类文章列表：安装卸载异常、退出文件及输入输出基本操作技巧设置及相关问题界面和显示快捷键视图设置和调整图层管理颜色线型字体、文字样式和文字输入标注、引线和标注样式坐标系、坐标输入定位对象捕捉选择及组二维绘图多段线表格图块、属性块、动态块填充复制粘贴三维建模图形编辑和...

2021-01-14 04:31:16 2689

原创 python多个日志模块怎么隔离_在多个模块中使用Python日志logging

最好的做法是在每个模块中都有一个像这样定义的logging器：import logging logger = logging.getLogger(__name__)靠近模块的顶部，然后在模块的其他代码中做例如logger.debug('My message with %s', 'variable data')如果您需要细分模块内部的日志logging活动，请使用例如loggerA = loggin...

2021-01-13 23:49:26 438

原创减少访问量_Lazada：唯一一个访问量明显着下降、出现负增长10％的玩家

在今年的前3个月，Lazada的访问量比去年同期减少了30％以上，比上一个季度减少了10％，与此同时被Shopee和Tiki超越。根据近期电商聚合平台iPrice公布的2019年Q1越南电子商务地图报告，越南4个领先的电子商务平台的排名与上一季度相比变化不大。排除细分市场平台(包括电子零售综合平台The Gioi Di Dong、Dien May Danh、FPT Shop),排名首位的Shope...

2021-01-13 13:21:56 207

原创概率论由相关性求数学期望和方差的公式_概率论笔记2--离散随机变量、数学期望和方差...

有的材料按照一维离散 -> 一维连续 -> 多维离散 -> 多维连续的角度讲解。我比较喜欢先讲清楚离散，再扩展到连续。随机变量和随机过程，不一样。要区分开。独立性，依旧是一个重要议题。在伯努利“独立”重复实验相关的计算中，很实用。Geometric 和 Binomial 分布的 PMF，期望，方差公式和推导过程。目录随机变量定义。是 function，而非 variableP...

2021-01-13 08:42:25 774

原创 2008 r2 sn sqlserver_sqlserver 下载地址（SQL Server 2008 R2 中英文开发版/企业版/标准版下载）...

注：企业版无法安装在xp和win7，开发版才可以！一. 简体中文1. SQL Server 2008 R2 Developer (x86, x64, ia64) - DVD (Chinese-Simplified)File Name: cn_sql_server_2008_r2_developer_x86_x64_ia64_dvd_522724.isoDate Published (UTC): 2...

2021-01-12 15:08:37 935

原创网格自适应_ANSYS自适应网格分析：2D矩形板的稳态热分析

一个2D矩形区域的稳态热对流见图1，模型的参数见表1，由于在AB边上的外界温度为T=100C，而在BC边上的外界温度为T=0C，则在它们的交点处(即B点)，会出现一个奇异区，在BE区间将有温度的高梯度的跨越，因此，要求采用自适应网格划分进行多次分析，最后得到一个满足计算精度要求的温度计算结果。图1 2D矩形区域的稳态热对流表1 模型参数建模要点：①首先定义分析类型，对于稳态传热分析，设置，并选...

2021-01-12 08:09:57 752

原创内存溢出_容易造成单片机内存溢出的几个陷阱

【小宅按】关于程序变量和内存分配，都是需要我们时刻关注的问题。我相信有不少人在这块犯过很多的错误，也可能说明我们基础不够扎实，编写程序的习惯也不够好。总结一下关于程序的变量和内存方面的概念，虽然是属于C语言方面非常基础的知识，但是工作中一不小心还是会发生一些内存泄漏、内存溢出之类的问题。所以自己对这块的理解也还远远不够。在这总结一下关于这方面的知识点，用来互相学习，更用来提醒自己，并作为自己的...

2021-01-10 17:01:18 261

原创 api文档数据量太大崩溃_比较最好的免费金融市场数据API

如果您要分析金融市场数据(从股票市场到加密货币，作为数据科学家，交易商或投资者)，请从此处开始。> Photo by Chris Liverani on Unsplash在我们的世界中，几乎没有什么东西像金融市场和数据一样有着千丝万缕的联系。金融市场的全部功能是基于其参与者根据可用信息和从所述信息中合成的知识进行操作的；目标是以他们认为有利的价格购买或出售资产。这种机制设定了市场价格，这...

2021-01-09 04:18:26 205

原创 icc校色文件使用教程_Flink教程-flink 1.11使用sql将流式数据写入文件系统

滚动策略分区提交分区提交触发器分区时间的抽取分区提交策略完整示例定义实体类自定义source写入fileflink提供了一个file system connector，可以使用DDL创建一个table，然后使用sql的方法将数据写入hdfs、local file等文件系统，支持的写入格式包括json、csv、avro、parquet、orc。一个最简单的DDL如下：CREATE TABLE fs_...

2021-01-06 23:25:28 111

原创安装itunes需要管理员身份_Windows 10 在microsoft store 微软商店里安装的itunes如何更改备份位置...

在windows 10 itunes的安装是在 microsoft store 微软商店里面默认的备份文件路径跟以往有不同默认备份路径为：C:Users用户名AppleMobileSync注：（里面的用户名就是你电脑的名字）第一步：在自己想要备份的盘里先创建个文件夹（最好不要带中文字符）例如：在 G盘创建一个文件夹命名为 iphone然后把 C:Users用户名AppleMobileSync 里...

2021-01-03 20:54:42 633

原创 ncbi查找目的基因序列_使用NCBI设计qPCR引物方法

对于分子生物学的研究者来讲，NCBI是科研过程中的一大神器，我们不仅可以在其中查找基因组、基因、蛋白，还可以在其中进行文献查找、序列比对等操作，连设计引物的功能NCBI也给我们构建好了，名字叫做Primer designing tool或者Primer-BLAST。并且，基于NCBI庞大的数据库信息，可以实现对引物扩增特异性的预测，甚至直接设计出特异性良好的qPCR引物(预测值)。这也是NCBI相...

2021-01-02 18:36:56 4533

weixin_39964528的博客