- 博客(471)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 压力测试工具
在移动应用和Web服务正式发布之前，除了进行必要的功能测试和安全测试，为了保证互联网产品的服务交付质量，往往还需要做压力/负载/性能测试。然而很多传统企业在试水互联网+的过程中，往往由于资源或产品迭代速度等原因忽视了这一块工作，导致新产品上线之后频繁出现卡顿等严重影响用户体验的问题。那么互联网产品为什么要进行压力/负载/性能测试，又有哪些工具帮我们实现呢，本文将为您细说端详。压力/负载/性能测试之异同在产品研发过程中，常常会混淆压力/负载/性能测试这三者之间的区别，这三种测试到底有什么不同呢？压
2020-06-16 09:47:32
551
原创 ORACLE 12C R2 不支持OGG12.2
土豪老板采购了oracle exadata X6 ，为了测试OGG to bigdata kafka特安装了12cR2测试环境。所有都搞完了，发现不兼容，kao。提醒大家不要近坑 INFO OGG-02089 Source redo compatibility version is: 12.2.0.ERROR OGG-06535 Extract does
2017-06-06 16:01:39
3484
1
转载 机器学习相关知识
写在前面的话保持怀疑的态度（在全新的数据集上测试分类器）天下没有免费的午餐（没有适用的最好学习方法，具体问题具体对待）正确对待缺失值，不同参数的设置可能会对结果产生不同的影响不同算法都有对应的假设数据挖掘的结果总会误导人，保持求真的态度数据类型连续型离散型标称型概念离散化归一化正则化度量指标欧几里得距离以RR为实数域，对于任意一个正整
2016-10-18 16:20:01
1296
原创 SAP HANA Smart Data Access 远程连接HANA\ORACLE 转载有修改
SAP HANA Smart Data Access 组件是为了实现在HANA Studio中添加远程数据源。在HANA Studio中添加数据源之前，必须先在SAP HANA服务器端完成ODBC驱动管理器和ODBC驱动的安装与配置，并保证连接畅通。不同数据源驱动的安装配置过程基本一致，只是细节略有不同。本文以Oracle数据库为例讲解如何安装和配置SDA数据源驱动。
2016-10-18 15:49:32
6348
转载 南方电网用电时间序列分析
总则我们进行预测的总的原则是：认识事物的发展变化规律，利用规律的必然性，是进行科学预测所应遵循的总的原则。这个总原则实际上就是事物发展的“惯性”原则——事物变化发展的延续性；“类推”原则——事物发展的类似性；“相关”原则——事物的变化发展是相互联系的；“概率”原则——事物发展的推断预测结果能以较大概率出现，则结果成立、可用观察问题序列是否在固定水平上下变动？此水平是
2016-08-01 10:35:04
2618
转载 数据挖掘项目总结文档
数据挖掘项目总结文档1、文档概述1.1 编写目的记录本次实验思路及流程，备忘用。1.2 适用对象个人学习总结，描述有偏差之处陆续更进。2、业务理解与分析定义2.1 需求概述针对传统网络入侵检测系统存在的误判以及漏检情况，采用数据挖掘的指导思想，通过大量的攻击样本数据进行知识发现，本次实验采用的kdd99数据集，其中包含了大量的模拟攻击行为。1998年美国国防
2016-08-01 10:33:55
4595
转载 机器学习相关知识
写在前面的话保持怀疑的态度（在全新的数据集上测试分类器）天下没有免费的午餐（没有适用的最好学习方法，具体问题具体对待）正确对待缺失值，不同参数的设置可能会对结果产生不同的影响不同算法都有对应的假设数据挖掘的结果总会误导人，保持求真的态度数据类型连续型离散型标称型概念离散化归一化正则化度量指标欧几里得距离以RR为实数域，对于任意一个正整
2016-08-01 10:31:00
695
转载 深度学习在搜狗无线搜索广告中的应用
搜索引擎广告是用户获取网络信息的渠道之一，同时也是互联网收入的来源之一，通过传统的浅层模型对搜索广告进行预估排序已不能满足市场需求。近年来，深度学习在很多领域得到广泛应用并已取得较好的成果，本次演讲就是分享深度学习如何有效的运用在搜狗无线搜索广告中。本次分享主要介绍深度学习在搜狗无线搜索广告中有哪些应用场景，以及分享了我们的一些成果，重点讲解了如何实现基于多模型融合的CTR预估，以及模型效
2016-07-25 13:39:27
2210
转载 解决Hadoop和Spark本地版本库不统一的问题
就是报以下这个警告的，也不知道对运行程序究竟会产生什么样的影响，但看着就是不爽，还耽误了我几天时间，把它给解决了，这里记一下，方便以后查找。unable to load native-hadoop library for your platform... using builtin-java classes where applicable先是运行Hadoop的时候报该错误，当时发
2016-07-25 13:38:21
2194
转载 Oracle 12c 和 Hadoop：大数据的最佳存储和处理办法
Oracle 12c 和 Hadoop：大数据的最佳存储和处理办法 本文演示如何使用 Hadoop 生态系统工具从 Oracle 12c 数据库提取数据，使用 Hadoop 框架处理和转换数据，然后将在 Hadoop 中处理的数据加载到 Oracle 12c 数据库中。本文介绍三个基本概念：大数据是什么？大数据是一台计算机无法存储和处理的数据量。数据来源不同，格式不同（结构
2016-07-22 15:41:14
1786
转载 SQL*Loader Express 使用
All Aboard the SQL*Loader ExpressBy Connor McDonald A new processing mode takes the hassle out of dealing with flat file loading.Way back in 2011, database evangelist Tom Kyte wrote, “As far a
2016-07-22 15:35:08
1254
转载 精通 Oracle+Python，第 7 部分：面向服务的 Python 架构
作者：Przemyslaw Piotrowski通过在 SOA 业务中采纳 Python 来使用和提供各种不同的 Web 服务2011 年 12 月发布 参见系列目录面向服务的架构 (SOA) 在当今的业务战略中具有至关重要的作用。混搭企业组件已成为所有任务关键的企业应用程序的标准要求，从而确保在企业架构的各层实现顺畅的服务编排。对此，Python 是一个不错的选择
2016-07-22 15:17:36
1098
转载 为 Python Server Pages 和 Oracle 构建快速 Web 开发环境
作者：Przemyslaw Piotrowski 通过可靠的 Oracle 数据库 10g、可伸缩的 Apache Web 服务器以及直观的、面向对象的 Python 编程语言学习高级 Web 编程。2006 年 7 月发布 各种在 Web 服务器和数据库之间充当中间层的服务器端技术使当今的开发人员获益匪浅，这些技术包括 JavaServer Pages (JSP)、Activ
2016-07-22 15:10:52
654
转载 Python cx_Oracle 5.0 新特性概述
Python cx_Oracle 5.0 新特性概述用于访问 Oracle 数据库的标准 Python 扩展 cx_Oralce 的新特性概述作者：Anthony Tuininga2009 年 4 月发布cx_Oracle 是一个 Python 扩展模块，通过使用所有数据库访问模块通用的数据库 API 来实现 Oracle 数据库的查询和更新。为使用一些专为 Oracle 设计
2016-07-22 15:09:05
1832
转载 使用 Python 和 Oracle 数据库实现高并发性
了解如何借助线程和并发性提升支持 Oracle 数据库的 Python 应用程序的吞吐量和响应性。 作者：Yuli Vasiliev2009 年 4 月发布随着趋势发展的核心转向更多而不是更快发展，最大限度地提高并发性的重要性日益凸显。并发性使得编程模式发生了新的转变，可以编写异步代码，从而将多个任务分散到一组线程或进程中并行工作。如果您不是编程新手并且很熟悉 C 或 C++，您可
2016-07-22 15:06:43
5793
转载 借助 Oracle 数据库实现 Python 数据持久性
作者：Yuli Vasiliev了解如何利用 Oracle XML DB、Python 脚本和 PL/SQL 存储过程构建自己的受 Oracle 数据库支持的 Python 应用程序。 2009 年 1 月发表尽管 Python 很快在开发人员之中普及，但长久以来 Oracle 数据库一直是最出色的企业级数据库。采用有效的方式将这两者结合在一起是比较令人感兴趣的主题，但这实际上是真
2016-07-22 14:55:35
822
转载 精通 Oracle+Python，第 9 部分：Jython 和 IronPython — 在 Python 中使用 JDBC 和 ODP.NET
作者：Przemyslaw Piotrowski这一部分将介绍 Python 的两个最常用的开发环境 — Java 和 .NET，以及这些平台的 Python 原生实现。2011 年 12 月发布 参见系列目录 成功的编程语言总是会成为顶级开发平台。对于 Python 和世界上的两个顶级编程环境 Java 和 Microsoft .NET 来说的确如此。虽然人们因为 Pyt
2016-07-22 14:51:36
1175
转载 在 Django 中构建 Oracle 数据库支持的 Web 应用程序
在 Django 中构建 Oracle 数据库支持的 Web 应用程序了解如何配置 Django 以便与 Oracle 数据库交互，并使用 ORM 进行数据库连接。作者：Yuli Vasiliev2009 年 8 月发布产能在软件开发环境中意味着及时完成工作的能力。开发人员经常发现自己在重复执行相同的任务，这无疑会降低其产能。这是框架能够派上用场的地方：使用适当的框架，您可以将
2016-07-22 14:46:57
2162
转载 使用python+oracle 11g开发web应用
Developing a Python Web Application with Oracle Database 11gPurposeThis tutorial shows you how to use Python with Oracle Database 11g.Time to CompleteApproximately 1 hourOverviewPyth
2016-07-22 14:44:30
3847
转载 精通 Oracle+Python，第 5 部分：存储过程、Python 编程
作者：Przemyslaw Piotrowski 调用数据库存储过程及其他感兴趣的高级 Python 编程功能。2010 年 3 月发布对于涉及数据库的软件开发来说，有两种主流开发方法：一种是在应用程序中（对于三层体系结构，也可以是在中间件中）实现所有业务逻辑，另一种是在数据库内部实现所有业务逻辑。本教程不讨论这两种解决方案的优缺点；不过，使用 Oracle 数据库方法还是会为面向
2016-07-22 14:35:26
902
转载 精通 Oracle+Python，第 4 部分：事务和大型对象
作者：Przemyslaw Piotrowski 通过 Python 管理数据事务、处理大型对象2010 年 3 月发布事务包含一组 SQL 语句，这组 SQL 语句构成数据库中的一个逻辑操作，如转帐或信用卡支付操作。将 SQL 语句聚合到一个逻辑组中，其效果完全取决于事务的成败，事务成功则提交更改，事务失败则撤销内部 SQL 的结果（整体撤消）。通过 Python，您可以利用 O
2016-07-22 14:33:56
437
转载 Oracle DBA 使用 Python
作者：Przemyslaw Piotrowski采用 Python 进行快速原型开发，藉此获得极高的数据库管理效率。2011 年 12 月发布 参见系列目录传统上，当需要为操作系统编写一些脚本时，人们常常会选用 Bash 或 Perl 脚本工具。这些工具易于使用，因而它们几乎变得无处不在，渗透到了包括 Oracle Database 在内的其他软件中，Oracle
2016-07-22 14:29:32
1346
转载 十分钟搞定pandas
本文是对pandas官方网站上《10 Minutes to pandas》的一个简单的翻译，原文在这里。这篇文章是对pandas的一个简单的介绍，详细的介绍请参考：Cookbook 。习惯上，我们会按下面格式引入所需要的包：一、 创建对象可以通过 Data Structure Intro Setion 来查看有关该节内容的详细信息。1、可以通过传递一个list
2016-07-22 10:32:31
775
转载 Spark中常用工具类Utils的简明介绍
《深入理解Spark：核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK：核心思想与源码分析》一书正式出版上市《深入理解Spark：核心思想与源码分析》一书第一章的内容请看链接《第1章 环境准备》《深入理解Spark：核心思想与源码分析》一书第二章的内容请看链接《第2章 SPARK设计理念与基本架构》《深入理解Spark：核心思想与源码分析》一书第三章第一部分的
2016-03-22 10:10:13
1586
转载 Spark MLlib 1.6 -- 特征抽取和变换
· TF-IDF· Word2Vec· Model· Example· StandardScaler· Model Fitting· Example· Normalizer· Example· ChiSqSelector· Model F
2016-03-22 10:09:12
6448
转载 MySQL 高可用架构在业务层面细化分析研究
相对于传统行业的相对服务时间9x9x6或者9x12x5，因为互联网电子商务以及互联网游戏的实时性，所以服务要求7*24小时，业务架构不管是应用还是数据库，都需要容灾互备，在mysql的体系中，最好通过在最开始阶段的数据库架构阶段来实现容灾系统。所以这里从业务宏观角度阐述下mysql架构的方方面面。一，MySQL架构设计—业务分析（1）读多写少虚线表示跨机房部署，比如电子商务
2016-02-26 10:21:37
453
转载 Spark Streaming快速状态流处理
许多复杂流处理流水线程序必须将状态保持一段时间，例如，如果你想实时了解网站用户行为，你需要将网站上各“用户会话（user session）”信息保存为持久状态并根据用户的行为对这一状态进行持续更新。这种有状态的流计算可以在Spark Streaming中使用updateStateByKey 方法实现。在Spark 1.6 中，我们通过使用新API mapWithState极大地增强对状态流
2016-02-17 10:16:24
3169
转载 如何打造高性能大数据分析平台
大数据分析系统作为一个关键性的系统在各个公司迅速崛起。但是这种海量规模的数据带来了前所未有的性能挑战。同时，如果大数据分析系统无法在第一时间为运营决策提供关键数据，那么这样的大数据分析系统一文不值。本文将从技术无关的角度讨论一些提高性能的方法。下面我们将讨论一些能够应用在大数据分析系统不同阶段的技巧和准则（例如数据提取，数据清洗，处理，存储，以及介绍）。本文应作为一个通用准则，以确保最终的大数据分
2016-02-17 10:15:34
1451
转载 漫谈ELK在大数据运维中的应用
圈子里关于大数据、云计算相关文章和讨论是越来越多，愈演愈烈。行业内企业也争前恐后，群雄逐鹿。而在大数据时代的运维挑站问题也就日渐突出，任重而道远了。本文旨在针对复杂的大数据运维系统推荐一把利器，达到抛砖引玉的效果，如果文中出现任何纰漏和错误的地方，恳请指正，欢迎讨论，希望大家不吝赐教。众所周知，大数据平台组件是很复杂的。笔者之前接触的一个大数据平台解决方案，仅平台组件就达20多个，这还没有
2016-02-17 10:14:45
29674
转载 hadoop命令详解
一、用户命令1、archive命令(1).什么是Hadoop archives?Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_index和_masterindx)和数据文件(part-*)。_index文件包含了档案中的文件的文
2016-02-04 15:12:11
450
转载 流式大数据处理的三种框架：Storm，Spark和Samza
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。Apache Storm在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker node）执行。一个拓
2016-01-28 10:40:53
636
转载 Yarn资源分配性能调优
日志：Container [pid=134663,containerID=container_1430287094897_0049_02_067966] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 1.5 GB of 10 GB virtual mem
2016-01-28 10:20:04
17300
转载 Hadoop平台架构--存储篇
刚刚开始使用Hadoop集群的时候,目录没有有个规范,大家都根据自己的喜好创建各种不同的目录,权限控制也没有开启,随着应用越来越多，使用的人员也多了起来，导致目录混乱,终于在新规划集群的时候,对目录做了规范和权限控制.下面简单介绍一下我们HDFS目录规范和HDFS存储规划,希望对初建Hadoop集群的同学能有一些帮助。简介Hadoop的目的是基于一种新的方法来存储和处理复杂
2016-01-28 10:18:20
985
转载 Hadoop平台架构--硬件篇
还记得刚接触Hadoop的时候,还是1.x版本,硬是在自己的4GB内存上面弄了3个虚拟机学习,条件有些艰苦,Hadoop测试集群搭建不需要太多考虑,随着毕业开始进入企业,在企业中实践Hadoop,特别是一定规模的集群,逐渐涉及到硬件资源,网络规划,操作系统,软件栈等一系列问题！对于一个没有经验的小白来说,还是比较复杂的,还好公司有linux大牛配合上我从各种技术网站博客吸收的微薄知识，从0
2016-01-28 10:13:01
8967
转载 hadoop、hbase、hive、zookeeper版本对应关系
最新版本：hadoop、hbase、hive、zookeeper版本对应关系续hadoop与HBase版本对应关系:Hbase Hadoop 0.92.0 1.0.00.92.1 1.0.00.92.2 1.0.30.94.0 1.0.20.94.1 1.0.30.94.2 1.0.30.94.3 1.0.40.94
2016-01-27 17:23:06
4388
转载 python模块:win32com用法详解
python模块:win32com用法详解 使用技巧import win32comfrom win32com.client import Dispatch, constantsw = win32com.client.Dispatch('Word.Application')# 或者使用下面的方法，使用启动独立的进程：# w = win32com.cli
2016-01-27 11:58:17
9101
转载 Win7下Python操作MySQL步骤
1、检视Python版本 如果尚未安装Python，那么你可以到Python官网进行下载：For the MD5 checksums and OpenPGP signatures, look at the detailed Python 3.3.3 page:Python 3.3.3 Windows x86 MSI Install
2016-01-27 10:21:17
725
转载 利用Python抓取和解析网页（转载）
这是我写爬虫的时候搜到的一篇比较不错的文章 讲的还是比较详细 虽然代码有部分缩进错误 稍微修改下就可以有很好的效果了 于是我就脸皮厚的贴了过来 收藏吧算是对搜索引擎、文件索引、文档转换、数据检索、站点备份或迁移等应用程序来说，经常用到对网页(即HTML文件)的解析处理。事实上，通过Python语言提供的各种模块，我们无需借助Web服务器或者Web浏览器就能够解析和处理HTML文
2016-01-27 10:12:32
2947
1
转载 Python抓取京东图书评论数据
京东图书评论有非常丰富的信息，这里面就包含了购买日期、书名、作者、好评、中评、差评等等。以购买日期为例，使用Python + Mysql的搭配进行实现，程序不大，才100行。相关的解释我都在程序里加注了：from selenium import webdriverfrom bs4 import BeautifulSoupimport reimport w
2016-01-27 10:10:36
1922
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人