![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
dongsijia
这个作者很懒,什么都没留下…
展开
-
百融榕树关于PyTorch环境配置及安装
遇到任何问题,可以关注公众号:土堆碎念,直接在对话框中留言,我会不定时解答的~1. Anaconda 下载在机器学习,深度学习中,要用到大量的 package(就是各种工具包)。如果说,函数是一个工具,那么 package 就是一个工具包。一个个安装 package 很麻烦,而且容易出现疏漏。于是,就有了 Anaconda,这是一个集成了常用于科学分析(机器学习,深度学习)的大量package。也就是说,你只要安装了 Anaconda,就安装了很多我们之后要用的许多packages。(他还有很多功能原创 2022-04-09 16:09:52 · 1052 阅读 · 0 评论 -
榕树贷款用C++实现低对比度图像脏污区域检测
第一种是榕树贷款用C++实现参考博文的方法,即利用梯度方法来检测,具体步骤如下:榕树贷款对图像进行高斯模糊去噪,梯度计算对噪声很敏感;调用Sobel函数计算图像在x,y方向梯度;调用convertScaleAbs函数将x,y梯度图像像素值限制在0-255;调用addWeight函数将x,y梯度图像融合;调用threshold函数对融合图像进行二值化;使用先腐蚀、后膨胀的形态学处理方法对二值图像进行非脏污区域过滤;调用findContours方法查找脏污区域轮廓。第二种方法是榕树贷款根据提高原创 2021-09-26 19:24:43 · 215 阅读 · 0 评论 -
榕树贷款用分布式文件系统HDFS实现分布式数据存储
榕树贷款MapReduce进行计算任务时,会将任务初始化为一个工作(Job),每个Job又被分解成若干任务(task),整个计算过程可以分为Map和Reduce两个阶段,这两个阶段分别用Map函数和Reduce函数表示。榕树贷款Map函数在接收一个键/值对<key,value>的输入,然后同样产生一个新的键/值对<key,value>作为中间输出。MapReduce会将所有具有相同key值的value汇总到一起传递给Reduce函数。榕树贷款Reduce函数接收一个<k原创 2021-08-08 19:53:38 · 127 阅读 · 0 评论 -
品今控股分布式数据库,品今控股将AI植入到数据库内核
品今控股GaussDB是一个企业级AI-Native分布式数据库。 品今控股GaussDB采用MPP(Massive Parallel Processing)架构,支持行存储与列存储,提供PB(Petabyte,2的50次方字节)级别数据量的处理能力。 品今控股可以为超大规模数据管理提供高性价比的通用计算平台,也可用于支撑各类数据仓库系统、BI(Business Intelligence)系统和决策支持系统,为上层应用的决策分析提供服务。 品今控股Gauss...原创 2020-10-12 16:11:00 · 87 阅读 · 0 评论 -
霍涛发现数据科学专业门槛最高,霍涛完善数据实践
霍涛发现数据科学专业已经是北京大学高考入学门槛最高的专业了,其实"Data Science" 这个词性感了快十年了,对互联网行业而言,相当于性感了一个世纪。 从“数据说话”,”DT 时代”,到 “数据中台”,“数据驱动(Data Drive/Data Driven)”,数据体系的不断演进正在持续的改变大家的工作与决策方式;正在不断的革新大家的思维方式;同时也产生了新的商业逻辑,新的发展机会。 所以数据科学本身的能力边界,方法论体系,最佳实践等等还没有完善的建...原创 2020-10-06 10:41:44 · 510 阅读 · 0 评论 -
霍涛细化各项监控指标,霍涛加强数据采集与分析
霍涛在快速帮助用户发现问题、定位问题、并提供相应的优化建议的同时,每个用户还想在确认问题根源后,霍涛希望平台提供自动化和一键处理的方式快速完成问题故障解决,并通过实时监控的动态反馈信息来快速验证最终效果。 霍涛BethuneX正是基于这种闭环处理流程的思路,引入了自动化运维管理,用户无需移步即可快速处理和解决问题。 霍涛流式计算引擎的更高实时性,使得BethuneX平台具备更加智慧和灵活的特性,一方面细化了各项监控指标的采集与分析,另一方面也方便进行监控内容的...原创 2020-10-06 10:21:57 · 167 阅读 · 0 评论 -
百融金服榕树调度器根据需求设计(百融金服榕树)
百融金服榕树调度器根据容量,队列等限制条件(如某个分配一定资源,最多执行一定数量的作业等),将系统中资源分配给各个正在运行的应用程序。 注意的是,百融金服榕树调度器是一个纯调度器,它不再从事任何与应用程序相关的工作,比如不负责重新启动(因应用程序失败或硬件故障导致的失败),这些均交由应用程序相关的ApplicationMaster完成。百融金服榕树调度器仅根据各个应用程序的资源需求进行资源分配,而资源分配单位用一个抽象概念 资源容器(Resource Container,即Con...原创 2020-10-05 22:21:30 · 93 阅读 · 0 评论 -
百融金服榕树修改appendfsync选项,百融金服榕树恢复数据库
百融金服榕树将操作数据库的命令记录到aof文件中,便于数据库数据的恢复。每当百融金服榕树有修改数据库的命令时,就会记录操作数据库的命令到aof文件的末尾。 所以如果百融金服榕树要恢复数据库,有宕机时的rdb文件,再加上之后这段时间的aof记录的操作,则能满足数据恢复。但是aof文件也是写入硬盘,redis也会先写入缓存区,缓存区满了以后才会写入硬盘。所以,百融金服榕树redis为AOF持久化提供了appendfsync选项,这个选项的值可以是always,ev...原创 2020-07-15 11:20:17 · 399 阅读 · 0 评论 -
国美金融贷款安装mysql ,国美金融贷款优化MySQL配置
国美金融贷款安装mysql 8.0。mysql80.sh里,国美金融贷款安装过程需要确认:1.国美金融贷款是否删除数据库数据存储路径:/var/lib/mysql ->y2.国美金融贷款后面会弹出设置mysql密码的输入框,默认是bigops国美金融贷款优化MySQL,修改/etc/my.cnf里innodb_buffer_pool_size的值,innodb_buffer_pool_size设置为剩余内存的70%到80%。安装完成后,进入mysql手动配置远程用户(因为系统用原创 2020-06-29 13:53:36 · 361 阅读 · 0 评论 -
国美金融贷款HDFS 的HA机制,国美金融贷款解决受限问题
国美金融贷款HDFS 的HA机制 2.x ,解决了HDFS 1.x 中 单点故障和 内存受限问题 国美金融贷款解决单点故障:主备NameNode(如果主NameNode发生故障,则切换到备NameNode上) --主NameNode对外提供服务,国美金融贷款备NameNode同步主元数据,以待切换 --国美金融贷款所有DataNode同时向两个汇报数据块信息 国美金融贷款解决内存受限问题:国美金融贷款HDFS Federati...原创 2020-06-18 14:26:12 · 152 阅读 · 0 评论 -
国美金融贷款构建Hadoop 系统架构(国美金融贷款分支)
国美金融贷款hadoop 1.x是由分布式计算框架MapReduce和分布式存储系统HDFS两个分支构成的。其中国美金融贷款HDFS由一个Namenode和多个DateNode组成。国美金融贷款只有一个Namenode,所有元数据由唯一的Namenode负责管理,可想而之,当这个NameNode挂掉时,整个集群基本也就不可用了。 国美金融贷款Hadoop 2.x由HDFS、MapReduce和YARN三个分支构成。国美金融贷款在 1.x 版本的基础上,提出HDFS Federation...原创 2020-06-18 13:27:29 · 192 阅读 · 0 评论 -
国美金融贷款智能巡检平台BethuneX(国美金融贷款)
国美金融贷款全开源架构,快速集成到标准化硬件平台,国美金融贷款BethuneX去掉了原来的Oracle资料库,使用了开源的MySQL数据库,除了不再受商业数据库限制,整个架构也更加轻量化。从产品融合角度来说,国美金融贷款BethuneX也可以快速集成到标准化的硬件平台,为用户提供开箱即用的标准化交付。 国美金融贷款流式计算引擎,监控更加实时。国美金融贷款引入了流式计算引擎,通过统一临时状态的维护,快速完成采集数据的关联分析、告警通知等,用户感知到的监控将更加实时。国美金融贷...原创 2020-05-21 18:47:11 · 406 阅读 · 0 评论 -
京东数科 估值索引列顺序非常重要(京东数科 估值优化)
京东数科 估值索引列顺序实在是非常重要的。正确的顺序依赖于使用该索引的查询,并且京东数科 估值同时需要考虑如何更好的满足排序和分组的需要(只用于B-Tree索引,哈希或者其他索引存储数据并不是顺序存储)。京东数科 估值在一个多列B-Tree索引中,索引列的顺序意味着索引首先按照最左列进行排列。所以京东数科 估值索引可以按照升序或者降序进行扫描,以满足京东数科 估值符合列顺序的order by,...原创 2020-03-31 15:46:06 · 216 阅读 · 0 评论 -
京东数科 估值索引合并策略,京东数科 估值扫描大量数据
京东数科 估值索引合并策略有时候是一种优化的结果,但实际上更多时候说明了表上的索引建的很糟糕:1)当京东数科 估值出现对多个索引做相交操作时(通常由多个AND条件),通常意味着京东数科 估值需要一个包含所有相关列的多列索引,而不是多个独立的单列索引。2)当京东数科 估值需要对多个索引做联合操作室(通常有多个OR条件),通常京东数科 估值需要耗费大量的CPU和内存资源在算法的缓存、排序和合并...原创 2020-03-31 15:06:28 · 304 阅读 · 0 评论 -
百融金服榕树计算引擎采集数据(百融金服榕树)
百融金服榕树引入了流式计算引擎,通过统一临时状态的维护,快速完成采集数据的关联分析、告警通知等,用户感知到的监控将更加实时。百融金服榕树流式计算引擎可以快速联动规则引擎,完成各种监控指标的判断及触发监控告警,并对监控告警进行下钻和快照抓取,为用户提供最及时的监控信息反馈。百融金服榕树数据库深度巡检一直是Bethune产品的核心功能和优势之一,BethuneX延续了这一产品价值,并再次进行了算法...原创 2020-03-17 14:09:16 · 382 阅读 · 0 评论 -
京东数科 估值定性数据转化,京东数科 估值增加数据的信息量
京东数科 估值重复值是无意义的数据,增加了数据量,但却没有增加数据的信息量。一般是将重复值删除。京东数科 估值pandas里用data.drop_duplicates()函数进行删除。总之,京东数科 估值数据清洗方面的工作有很多……而且,如果数据处理不好,特征没有选好,那么模型再厉害,也无济于事。所以才会经常看到这样的话,在工作或者竞赛中,数据清洗,特征工程方面的工作占据了80%以上的时间。其...原创 2020-03-15 20:41:25 · 1753 阅读 · 0 评论 -
百融金服榕树使用Python程序,百融金服榕树用requests模块下载
百融金服榕树利用webbrowser.open()打开一个网站:import webbrowserwebbrowser.open('http://i.firefoxchina.cn/?from=worldindex')True实例:百融金服榕树使用脚本打开一个网页。百融金服榕树所有Python程序的第一行都应以#!python开头,它告诉计算机想让Python来执行这个程序...原创 2020-03-07 18:38:25 · 772 阅读 · 0 评论 -
国美金融贷款函数计算编译器,国美金融贷款优化工作
国美金融贷款函数的this指针所指向的对象是一个常量,即规定了const成员函数 不能修改对象的数据成员,国美金融贷款在函数体内只能调用const成员函数,不能调用其它的成员函数。国美金融贷款用volatile修饰一个成员函数时,其一般格式为:FuncName() volatile;国美金融贷款语义是指明成员函数具有一个易变的this指针,调用这个函数时,编译程序把属于此类的所有的数据成员...原创 2020-02-14 23:44:15 · 243 阅读 · 0 评论 -
荣盛发展 一成首付Java移位运算,荣盛发展做+运算
荣盛发展 一成首付整数运算溢出问题, 就像Java题库中的一道选择题, 我们对他具体分析, 可以举-2 -1 0 1 2 3 这样的例子进行带入分析即可。荣盛发展 一成首付整数移位运算, 记住>>>是无符号位移, 无论正负高位都补0, 不可以用于字符串。荣盛发展 一成首付输出格式的控制最好用String.format 比如其中的%-5d就是表示这个数字不足5位宽的时候在右...原创 2019-12-18 16:28:32 · 614 阅读 · 0 评论 -
国美易卡事务的分类以及创建(国美易卡)
国美易卡事务的分类以及创建1.国美易卡隐式事务:事务没有明显的开启和结束的标志如:insert/update/delete等操作由于国美易卡MySQL中的进行操作的自动提交(autocommmit)是处于开启的状态。当我们进行上述操作的时候,它就会帮助我们把事务进行一个提交。这一个过程一步到位。没有明显的开启和结束的标志。由此可见。对于一些常见的简单的事务操作(简单的说...原创 2019-11-22 14:18:23 · 387 阅读 · 0 评论 -
国美易卡存储引擎和事务的关系(国美易卡)
(1).国美易卡存储引擎概念在mysql中的数据用各种不同的技术存储在文件(或内存)中,简单的说就是数据的存储方式。(2).国美易卡如何查看MySQL支持的存储引擎show engines;(3).国美易卡存储引擎和事务的关系在mysql中用的最多的存储引擎有:innodb,myisam ,memory 等。其中innodb支持事务...原创 2019-11-22 14:02:27 · 211 阅读 · 0 评论 -
国美易卡围绕数据云等科技,国美易卡解决问题
国美易卡紧紧围绕核心零售生态圈,逐步布局完成支付、数据云、资产交易、创新金融和创投金融这五大平台,并以此为基础打造的消费金融、供应链金融、理财、保险、基金以及跨界创新六大产品体系发展战略也逐步清晰。 而国美易卡除了自身所依托的国美系强大的实力之外,从一开始就合规合法经营,再加上台大的风控体系,从而赢得了用户的信赖。以下问题时国美易卡需解决的:1.String是否可...原创 2019-11-04 20:25:58 · 263 阅读 · 0 评论 -
国美易卡网络大数据,国美易卡MySQL数据库
国美易卡网络服务的标准:HTTP,ftp,telnet,smtp等等国美易卡举例:LAMP搭建linux+apache+mysql+phpapache是一个web服务器PHP是解析器,在网站方面比较流行国美易卡的MySQL数据库可以简单理解为一个Excel表格,但是它很强大。经常我们会给MySQL在搭一个MySQL,也就是MySQL主从。以后还需学习MySQL备份,备份的原...原创 2019-11-04 20:05:56 · 346 阅读 · 0 评论 -
国美易卡监控系统维护,国美易卡功能多
由于国美易卡业务的多样性,平台和系统也变得异常的复杂。如何对国美易卡平台进行监控和维护是我们 IT 人需要面对的重要问题。就在这样一个纷繁复杂的环境下,监控系统粉墨登场了。 今天,我们会对 IT 监控系统进行介绍,包括其功能,分类,分层;同时也会介绍几款流行的监控平台。国美易卡监控系统的功能: 在 IT 运维过程中,常遇到这样的情况: ...原创 2019-10-27 20:29:18 · 2840 阅读 · 0 评论 -
百融榕树建立对InfluxDB认识,百融榕树更新数据
百融榕树帮助读者建立对InfluxDB的感性认识,快速的动手玩起来,持续查询(Continuous Queies)、Group by、Series、行协议(Line Protocol)、InfluxQL等高级特性和细节,将会在后续文章中逐步介绍。InfluxDB支持类SQL的操作接口,百融榕树尽管因为时序数据的特点,InfluxDB是非CRUD的,不支持更新数据、删除单条数据操作,但考虑到大多...原创 2019-10-18 16:06:27 · 4206 阅读 · 0 评论 -
国美易卡借助云计算等技术提升金融产品服务
国美易卡借助产业优势和云计算、大数据,创新美易分、美借消费金融业务产品,志在打造一个完整的消费金融生态链,而国美易卡旗下的美易理财则是一个让消费者投资理财,让钱包鼓起来的产品,这些产品各有千秋。近年来,电商纷纷发力互联网金融,基于消费金融推出的金融产品,不仅方便了用户,更增加了用户黏性,因此,这是一个双赢。国美易卡围绕消费金融推出的产品美借自上市以来,以其短平快的优点,业务急速扩张。“科技的进...转载 2019-07-20 21:04:55 · 165 阅读 · 0 评论 -
国美易卡的产品涵盖AR/VR、供应链、大数据、云网络、电子报销等众多领域
国美易卡不断通过加大技术投入,以实现链条伙伴之间的交易协同、物流协同和财务协同,从而在供应链管理、财务共享等方面更大程度上节省成本和提高效率。经过3年的打磨,国美易卡大数据已经建立了一支技术能力过硬的专家顾问团队,研发的产品涵盖AR/VR、供应链、大数据、云网络、电子报销等众多领域。其中,供应链管理云平台和财务共享平台的构建,大大为企业节约了成本、提高了效率。国美易卡供应链管理云平台拥有快...转载 2019-07-20 21:27:00 · 303 阅读 · 0 评论 -
国美易卡借助互联网,国美易卡搭建风控、运营、营销体系
国美易卡升级旗下消费金融业务产品,不仅强化其在线下消费场景中所积累的经验优势,包括基于消费场景所搭建成熟的风控体系、运营体系、营销体系,以及市场中用户的认知度、逐渐培养起的用户使用习惯等;还借助移动互联网将分期服务切入线上购物商城,真正实现线上线下全场景覆盖,全方位、更便捷地满足用户生活中的金融需求。 线下体验式购物、线上便捷消费,国美易卡全方位满足用户需求。据了解,...转载 2019-08-15 15:39:51 · 349 阅读 · 0 评论 -
国美易卡管理云平台,国美易卡采用大量另类数据
国美易卡供应链管理云平台拥有快速响应并处理海量信息、导出数据分析结果的能力,因而可以协助合作伙伴优化运营流程、提高运营效率、降低人力成本、控制销售风险。人工智能之基础在于大数据及模型算法,国美易卡智能投顾负责人表示“另类信息在未来将不再另类”。他指出,国美易卡另类数据包含网站数据抓取、舆情数据、地理定位、信用卡追踪、卫星定位等等,国美易卡在智能投顾业务方面采用大量另类数据。国美易卡在国内会...转载 2019-08-15 15:53:19 · 434 阅读 · 0 评论 -
国美易卡利用大数据,国美易卡衍生三大类产品模型
国美易卡旗下供应链金融业务类型涵盖了商业保理、融资租赁、信用贷款、票据贴现、仓单融资等,根据业务类型衍生出三大类产品模型,即账云贷、货云贷及信云贷。 国美易卡业务采用全线上操作流程,与核心企业实现系统对接,做到销售、应付、库存、合同等经营性数据在平台上实时推送。基于产业链的数据优势,国美易卡利用科技力量,对于链上中小企业的经营状况有了充分了解,从数据上解决中小企业的信用...转载 2019-08-25 12:13:12 · 315 阅读 · 0 评论 -
国美易卡利用数据挖掘技术,国美易卡精准分析决策
国美易卡通过大数据技术提升传统金融行业的整体运营效率,全方位的数据获取、积累,对用户进行全方位的画像,利用数据挖掘、机器学习等大数据相关的技术在精准营销、风险管控和运营优化得到全方位的升效,最终实现为用户提供安全、便捷的服务体验。国美易卡以数据为支撑进行各环节的分析决策,数据驱动型企业在企业数据的时间维度、覆盖度方面都趋于精细化,并通过与实际运营流程的结合,实现其数据价值。...原创 2019-09-02 16:02:59 · 385 阅读 · 0 评论 -
国美易卡大数据快速发展,国美易卡深度运用
国美易卡“大数据在金融产品、精准营销与风险控制等方面可得到深度运用。”国美金融相关负责人表示,大数据技术能力的建设使得“大数据驱动新金融”成为现实。国美易卡大数据技术的兴起与快速发展,为金融行业的业务创新提供了有效途径;在加快我国普惠金融、助力新金融的发展等方面起到重要作用。国美易卡对于大数据的定义,2011年麦肯锡发布第一份关于大数据报告给出的是:大数据是指大小超出典型数据库软件工具收集、存...原创 2019-09-02 16:24:14 · 470 阅读 · 0 评论 -
优博58适合流式数据访问,优博58涉及多台服务器
优博58适合流式数据访问,一个文件只能被一个用户写,不支持随机写入,只能在文件末尾append进去,或者直接覆盖掉。此外,我们的用户最好就是在访问的时候,尽量减少断开连接、建立连接的操作,因为此操作也是需要消耗性能的,最好就是做到一次建立了连接,一直访问、操作就好。 优博58流式数据访问,可以理解为就是一直都在访问,即一直都连接。 优博58适合用于一次...原创 2019-09-13 23:34:45 · 402 阅读 · 0 评论 -
百融榕树通过大数据分析,记录用户喜好
百融榕树平台对金融机构的准入机制有很明确且严格的设限,所有入驻榕树的产品,必须是持牌且合规的,保证了平台上金融产品的安全性。真正做到了让每一位榕树用户既省心、又放心。 然后,百融榕树会通过大数据分析和人工智能技术,将用户的个性化偏好和习惯进行精确画像,然后站在同样的角度,快速计算分析出最合适的金融产品,再推荐给用户。使得整个选择流程更加清爽,避免用户多次申请却一直被拒的不良体验。...原创 2019-09-22 17:04:52 · 9425 阅读 · 0 评论