![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据、业务和产品组织
huxuanlai
大数据架构师,算法建模工程师,河南研发和信用提升志愿者。
展开
-
近期高分辨率卫星数据和价格
图片信息源:http://www.sshy3s.com/ygwx http://www.mapsinfo.net/#/remote卫星影像数据价格(科研遥感影像数据服务云网,以景或者平方公里为单位计算价格):http://www.srdatac.com/scjg原创 2021-07-29 14:36:45 · 771 阅读 · 0 评论 -
汽车产业链SCP分析框架-湖北
原创 2021-07-18 17:50:52 · 227 阅读 · 0 评论 -
文档开发中预览/编辑/格式转换/内容提取/语言识别/文件服务器/相关的开源/商业组件和库
能用于项目开发的office文件功能:-------------------------pageoffice: 在线编辑office http://www.zhuozhengsoft.com/java/WebOffice (java/jsp) :在线编辑office , 商业版贵kkFileView:文档在线预览 https://github.com/kekingcn/kkFileViewgo-fastdfs:文件服务器UReport2:动态报表------------------------原创 2021-01-15 20:09:21 · 214 阅读 · 0 评论 -
文档翻译和文本翻译的区别、文档翻译的配套开发组件
文档翻译和文本翻译的区别:-----文档翻译:各类原始文档转换为通用格式(单独一个service),文档图表内容提取(单独一个service)、算法工具翻译和文档格式还原(单独一个service)、专业翻译公司的修改译本。文本翻译:算法工具翻译后文档(单独一个service)、修改译本。形成产品除了核心功能还需要配套的服务:-----翻译服务的高可用:大文档翻译可能经常出错。翻译服务队列:就像打印机需要排队打印一样,文档翻译也需要,尤其针对工业机构、媒体、情报和图书机构翻译文件的同步:文档原创 2021-01-14 20:55:50 · 453 阅读 · 0 评论 -
法院AI的一些场景-ocr/智能语音--布控/卷宗数字化/违禁取证/智能庭审
法院AI的一些场景:----------(布控)人脸识别服务:1. 设备管理(接数)2. 人员管理(布控对象)3. 图片管理(线索图片)4. 图像搜索(搜索,临时对图片库中布控对象进行查询)5. 监控任务(搜索,持续对视频流中人的比对)6. 预警管理(告警)7. 实时监控(以告警作为聚焦点查看监控设备实时图像)1/2/3是布控的基础设施,4是一种场景,5/6/7是一种场景。----------(法院卷宗数字化)ocr:卷宗智能编目:将各类证照通过ocr提取后归类添加标注卷宗原创 2021-01-07 14:57:49 · 363 阅读 · 0 评论 -
疫情期北京融资信息分析---疫情对北京社会经济影响分析---科技战疫·大数据公益挑战赛---2020北京数据开放创新应用大赛
目录1 北京金融疫情1.1 宏观1.1.1. 央行“放水”1.1.2 疫情对三驾马车的影响1.2 北京国企和大民企融资1.2.1 金融债1.2.2短期融资券-疫情防控债1.2.3 中期票据-疫情防控债1.2.4同业存单-防疫专项1.2.5 2020年同业存单发行额度1.2.6 2020北京地方政府债1.2.7 互联网公司-ABN疫情防控债1.2.8 市属企业上市平台融资1.2.9 北京控股的债券发行和债券担保平台1.2.10 北京市重大项目..原创 2020-06-29 18:52:32 · 3460 阅读 · 0 评论 -
河南疫情防控和复工复产资金数据
河南疫情防控资金数据:1.人行降低存款准备金率:河南增加200亿可贷资金。2.人行专项再贷款:人行总额3000亿,河南收到50亿,用于基本生活保障和防疫企业。按名单发放,由发改委、工信部确定和备案重点企业名单,面向9个大银行和10个重点省市的地方银行3.人行再贷款再贴息:人行总额5000亿,河南收到527.2亿(其中再贴现195亿,其余为支农支小再贷款),用于复产复工4.额度:人行郑州中心...原创 2020-03-21 19:46:13 · 302 阅读 · 0 评论 -
数据仓库简明概念-表类型、建模、建设步骤、分析场景
数仓的概念:******DW表的类型******实体表:用于描述实体特性事实表:全是数字度量,不包含描述维度表:用于分析******DW建模******业务建模:从企业层面划分业务单元,确定业务单元内的业务流程,确定DW项目目标和阶段。领域概念建模:抽取关键概念,概念分组,概念细化和关联。逻辑建模:领域概念实体化并将其数据集成为实体表,概念之间事件作为事件表,确定分析维度作为维度...原创 2019-02-13 16:48:19 · 574 阅读 · 0 评论 -
大宗物资采购和运销-煤炭/钢铁/物流数据资源
一级分类 二级分类 数据类型 信息发布单位 数据库栏目地址 价格 授权方式 数据范围 注册试用用户名 密码 行业统计 综合 能源、钢铁、化工 IHS Markit 能源、钢铁、化工 Verisk Analytics/Argus /Wo...原创 2019-02-12 16:52:13 · 626 阅读 · 0 评论 -
python抓取百度搜索列表的实际网址和网站标题
# coding=utf8import sysimport randomimport stringimport urllibimport urllib2import re#设置多个user_agents,防止百度限制IPuser_agents = ['Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20130406 Firefo...原创 2017-11-23 23:30:02 · 1502 阅读 · 0 评论 -
大数据应用产品设计的模板
产品设计:---------------------------------------------------1. 主业务前台入口是:一个搜索或展示框(搜索、聚合列表)、一个栏目列表(推荐,广告、排名)后台支持是:部署和配置管理、接入、均衡、存储、查询、缓存、处理、同步、连接组件。中间件是:业务逻辑把库内容展示到前台。2. 后台管理界面原型和功能确认:统一认证登录:业务元素配...原创 2019-01-31 10:32:54 · 429 阅读 · 0 评论 -
J.P. Morgan Auto Conference参会的汽车行业公司
----J.P. Morgan Auto Conference参会公司----Dana Holding Corporation: 美国德纳,传动、热管、密封American Axle & Manufacturing 美国车桥LKQ Corporation:汽车拆解和替代品Gentherm Incorporated:汽车温度管理BorgWarner:博格华纳,涡轮增压Penske...原创 2018-09-14 18:09:11 · 327 阅读 · 0 评论 -
客户消费行为预测的3种计算方法
用户潜在消费行为预测:数据:用户行为表,购物篮表,购物表中数据。计算方法:方法一:关联规则算法来建立业务预测模型。根据主需求品类先分组,找到每个分组下的频繁项集,根据已知的消费行为找出频繁项集中配对的潜在需求。方法二:用word2vec算法构建业务预测模型。word2vec算法包含word顺序信息,word顺序在消费行为预测中可理解为消费品类顺序。把用户消费的具体商原创 2017-11-30 14:38:18 · 9287 阅读 · 0 评论 -
地理空间数据和大数据平台Spark结合能做的事情
Geospatial开发相关的组织、项目和功能:https://github.com/OSGeo/gdal translator library for raster and vector geospatial data formatshttps://github.com/PDAL/PDAL translating and manipulating point cloud datahtt...原创 2017-12-01 16:00:53 · 6120 阅读 · 0 评论 -
海关的数据挖掘需求
全国海关通关一体化的大背景下,为了能够加快通关速度又能保障安全通关,启用全国海关风险控制中心和税收征管中心,在全国口岸所有运输方式进口的《中华人民共和国进出口税则》全部章节商品,使用“一次申报,分布处置”通关作业流程和企业自报自缴税款,税收征管要素海关审核后置等改革措施。 风险防控中心分析货物是否存在禁限管制、侵权、品名规格数量伪瞒报等安全准入风险并下达布控...原创 2019-11-29 14:01:56 · 697 阅读 · 0 评论 -
人口、人才统计和公安领域的分析需求
1. 人口统计:主要是人口预测和人口迁移;然后是人口变化导致的社会经济系统的变化,需要系统动力学分析;然后是人口带来的资源需求和规划。参考:书籍《人口和就业统计分析技术》,国家统计局人口和就业统计司和人大编。2. 人才统计:涉及模型是:人才评价指标,人才项目评审指标,人才项目过程绩效指标,人才总体竞争力指标体系,人才寻找方法等。涉及部门:中组部,市委人才办,中国人事科学研究院,中国人才促进会,国家...原创 2018-02-28 11:04:51 · 1488 阅读 · 0 评论 -
气象大数据需求
1 背景国家气象信息中心CIMISS系统于2008年建设,随着数据量和需求越来越多,已不能满足业务需求,迫切需要气象大数据管理平台来满足新一代海量气象数据存储管理需求。2 CIMISS系统理解2.1 原有CIMISS2.2 升级版CIMISS2.02.3 存储和查询需要做的事情 需要接入CIMISS的数据:利用前期数据处理标准化成果(数据资源标6大分体系,231项标准条目),构建新的...原创 2018-03-09 14:30:57 · 5899 阅读 · 1 评论 -
中国的银行、证券和保险机构的简要历史
管理机构:中国证券监督管理委员会(1992年成立)中国保险监督管理委员会(1998年成立)中国银行业监督管理委员会(2003年成立)登记结算机构:中央国债登记结算有限责任公司(1996年成立)中国证券登记结算有限责任公司(2001年成立)中国信托登记有限责任公司(2016年成立)中国证券投资基金业协会(2012年成立)中国保险资产管理业协会(2014年成立)四大国有专业银行:...原创 2018-03-04 23:01:53 · 982 阅读 · 1 评论 -
RAND公司在犯罪和反恐预测领域的技术和政策分析
反恐预测:1. Analytic Support to Intelligence in Counterinsurgencies(反叛乱预测,报告全文内容详细)https://www.rand.org/pubs/monographs/MG682.html2. Predicting Suicide Attacks:Integrating Spatial, Temporal, and Social Fe...原创 2018-04-25 18:26:09 · 376 阅读 · 0 评论 -
客户价值度和活跃度建模
客户价值度和活跃度建模目录1. 活跃度模型1.1 概念和计算方法1.2 分类和解释1.3 模型实现步骤2. 价值度模型2.1 概念和计算方法2.2 价值度分类2.3 结果解释和营销建议2.4 模型实现步骤1. 活跃度模型1.1 概念和计算方法概念:活跃度用来度量客户与公司交互程度。用加权因子分析法来做活跃度计算。因子:用xi 表示, (负相...原创 2018-07-25 16:52:24 · 9000 阅读 · 1 评论 -
bot机器人账号八大类特征分析---识别问题账号
账户数据本身的可分析性是分析算法的基础。通过分析数据特征来为建模做准备。账户数据特征通常分为活动行为特征,社团特征,发文特征、语法语义特征、时空特征等:1. 活动特征:发文数量,发文被回复的比例,连续发文的平均时间间隔,用户在站点的发文级别,本站点首发的天数,通过发文回复关系得出的聚集系数和互惠性,两人之间在一个共同讨论中的次数。2. 社团特征:对普通用户的差评比例,被举报的比例,被删比例原创 2017-12-01 10:32:54 · 3095 阅读 · 0 评论