- 博客(17)
- 收藏
- 关注
RSS订阅转载 PostgreSQL流复制热备
转载自:https://www.jianshu.com/p/12bc931ebba3一 主备机器规划主机名IP角色端口master192.168.0.108Master5432slave192.168.0.109Slave5432前提：分别在两台主机上安装好pg数据库，安装过程参考博客http://www.jianshu.com/p/639ebb43bfb4。二 创建流复制2.1 设置hostmaster,slave两节点都要操作。[root@b
2021-10-29 16:12:47
293
原创 sql sever 变量
数据在内存中存储可以变化的量叫做变量。为了在内存中存储信息，用户必须指定存储信息的单元，并为该存储单元命名，以方便获取信息，这就是变量的功能。T_SQL中有两种变量，一个是局部变量，另一个是全局变量。局部变量和全局变量的区别是存储的数据作用范围不一样。局部变量是用户可自定义的变量，它的作用范围只在程序内部。局部变量的名称是用户自定义的，根据sql sever命名规则，局部变量名必须以“@”开头。1.声明局部变量使用DECLARE语句。DECLARE{@varaible_name datatype
2021-03-30 16:30:45
667
原创 DAU异常怎么分析
DAU是日活跃用户数如果业务或leader反馈DAU出现异常下降第一步：判定DAU是否是真的异常可以用日环比、周同比、以及最近30天的变化趋势，确认数据变化情况可以根据经验判断当值超过多少百分比是异常第二部：拆解指标体系拆解目标指标，用公式进行指标拆解先进行横向拆解，然后纵向拆解第三部：计算波动贡献率对业务进行分层，例如：新用户和老用户，微信用户和广告用户，不同年龄层用户等等比如说计算不同年龄层的数据变化幅度/总体的变化幅度根据波动贡献度进行逐层下钻，找到指标异常的主要因素。然后和业务
2021-02-26 16:59:27
470
原创 power 工作区的管理
当我们已经加载和转换了数据源、生成了视觉对象、创建了DAX公式，甚至是将一些报表发布到了powerbi online。然后我们就可以和组织共享这些报表。我们可以在工作区完成报表的共享，工作区是power bi的一项功能，工作区是一个集中式的存储库，我们可以在其中和同事协作，已创建报表和仪表板的集合。工作区具有以下优势：1.集中精力进行协作。可以使用工作区来存放报表和仪表板，以供多个团队使用。2.能够在单个环境中共享和呈现报表和仪表板3.通过控制谁可以访问数据集、报表和仪表板来保证最高安全性。另外还
2021-02-19 17:50:19
244
原创 python 爬虫中文乱码问题
在爬取网站是遇到requests得到的respone为.这是因为被urlencode转码了先用import urllibimport urllib.parseurllib.parse.unquote(res.text)得到这其实已经是一段unicode编码了，只不过是将 \ 反斜杠 被换成了 % 百分号然后我们直接把% replace一下urllib.parse.unquote(res.text).replace(’%’,’\’).encode().decode(‘unicode-esca
2021-01-05 18:02:19
182
原创 DAX函数一
DAX框架：三个非常重要的基础概念，语法、函数和上下文。DAX度量值的工作原理就是筛选和计算。用于计算的函数和Excel有很多相似的，但Excel可以应用于单个单元格或行列，DAX只能引用完整的表或列。所以这时候筛选函数就有很大的价值了，在配合聚合，时间智能，迭代等函数，那么对数据的处理就游刃有余了。在常见函数之前，我们要先了解DAX语法的结构。语法包含总成公式的不同元素。语法包含以下元素：等号运算符（=）引用列 [列名] ，公式中的列引用用方括号[]括起来，与引用单元的Excel不同，DAX公式
2020-11-23 09:02:16
3691
原创 sql技巧
1.子查询的对比1) 传统子查询：子查询如果嵌套的层次过多，会使SQL语句非常难以阅读和维护.2) 表变量：将子查询放在了表变量@t中，这样做将使SQL语句更容易维护，但又会带来另一个问题，就是性能的损失。表变量实际上使用了临时表，从而增加了额外的I/O开销，因此，表变量的方式并不太适合数据量大且频繁查询的情况。3) CTE：比表变量效率更高。--1.传统子查询SELECT *FROM person.StateProvinceWHERE CountryRegionCode
2020-09-03 15:55:45
584
原创 2020-08-20
hive优化手段无非四种：1.合理控制map和reduce数2.合并小文件3.避免数据倾斜，解决数据倾斜4.减少job数（合并job，大job分拆。。。）
2020-08-20 11:15:03
78
原创 power bi 折线图下钻功能
例如，我们有一张表含有分层结构的字段我们需要当我们筛选“洲“时，折线图显示该“洲”下面“地区”的随时间趋势，当筛选“地区”时，折线图显示该“地区”下面的“国家”的随时间变化的趋势。。。。1.创建表表_层次结构 = union(VALUES(sheet1[洲])，VALUES(sheet1[地区])，VALUES(sheet1[国家]),VALUES(sheet1[产品名]))这个表就是 这4列去重过后连接起来的一列2.编写度量值DAX中用方法 ：values() 返回由一列构成的一个表，该表包
2020-08-06 14:26:58
2094
1
原创 构建一个学习算法
构建一个学习算法的推荐方法：1.先设计一个简单快速实现的算法，实现该算法并通过交叉验证集测试该算法2.绘制学习曲线，通过观察学习曲线，判断模型是欠拟合还是过拟合，然后决定通过增加测试集，增加特征，或者其他有效方法3.进行误差分析，人工检查交叉验证集中算法判断错误的实例，看看这些实例是否有某种系统化的趋势有时我们需要尝试不同的模型，然后进行比较，来选择那个模型更有效。我们通过一个数值来衡量，...
2019-07-30 22:32:55
426
转载 jupyter notebook使用指南
目录简介安装与运行主面板(Notebook Dashboard)编辑界面(Notebook Editor)单元(Cell)魔法函数其他一、简介Jupyter Notebook是一个开源的Web应用程序，允许用户创建和共享包含代码、方程式、可视化和文本的文档。它的用途包括：数据清理和转换、数值模拟、统计建模、数据可视化、机器学习等等。它具有以下优势：可选择语言：支持超过40种...
2019-06-05 10:28:45
5674
2
原创 python pandas的read_html方法爬取网页表格
python pandasd的read_html方法爬取网页表格网页总的表格数据通常保存在table标签下，结构为：............ ... ............ ... ... ...
2019-05-24 10:11:11
8070
原创 mysql安装
一、下载安装包1.下载Visual C++ 2013 Redistributable；2.下载Visual C++ 2015 Redistributable；3.搜索 mysql download，点击 mysql community download，下载 mysql community server，选择ZIP包下载；4.下载 mysql workbench ;二、安装...
2019-05-07 22:42:53
213
原创 python自然语言处理实战（一）：NLP基础
从建模角度讲，为了方便计算机处理，自然语言处理成符号的集合来传递信息，然后通过建立计算机框架来实现语言模型，并且不断完善这样的语言模型，还需要根据语言模型来设计各种使用的系统，并且讨论这些使用技术的评测技术。从自然语言的角度出发，NLP基本可以分为两个部分：自然语言处理和自然语言生成，演化为理解和生成文本的任务。—这些话理解还不透彻 <__>NLP的研究任务机器翻译、情感分析、智能...
2019-04-04 16:08:46
780
原创 python enumerate()函数
描述：enumerate()函数用于将一个可遍历的序列（如列表，元组 或字符串）组合为一个索引序列，同时列出数据和数据下标，一般用在for循环中。语法：enumerate(sequence,[start = 0])参数：sequence：表示一个序列、迭代器或其他支持迭代对象；start：下标其实位置返回值：》》》seasons = [‘Spring’, ‘Summer’, ‘Fa...
2019-04-04 14:10:16
141
原创 笔记--损失函数
损失函数（loss function）是用来估量你的预测试f(x)与真实值Y的差别，它是一个非负实值函数，损失函数越小，模型就越好，损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。通过损失函数我们可以得到单个样本点的预测能力，对于训练样本中的所有数据进行预测，得到的是经验风险，结构风险是在经验风险的基础上加入表示模型复杂度的正则化项（罚项）结构风险函数：前面为经验风险函数...
2019-03-30 17:10:10
191
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人