大数据
gnicky
这个作者很懒,什么都没留下…
展开
-
安装damen数据库达梦
1、从网盘上下载压缩包2、解压得到ISO文件,上传到centoscd zhundevsftp:/root/zhundev> putUploading dm8_setup_rh7_64_ent_8.1.1.45_20191121.iso to remote:/root/zhundev/dm8_setup_rh7_64_ent_8.1.1.45_20191121.isosftp: se...原创 2020-04-06 10:53:04 · 476 阅读 · 0 评论 -
输出mysql、ms sql非系统表的表名表内数据行数
#!/bin/bashecho -n "MySQL username: " ; read usernameecho -n "MySQL password: " ; stty -echo ; read password ; stty echo ; echomysql -u username−p"username -p"username−p"password" -NBe “SHOW DATABA...原创 2019-12-04 14:20:15 · 357 阅读 · 0 评论 -
异构数据源离线同步工具 加任务组合调度
1、阿里开源软件:DataX DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。(摘自百科)2、Apache开源软件:SqoopSqoop(发音:skup)是一款开源的工具,主要用于在HADOOP(Hive)与传统的数据库(mysql、p...转载 2018-05-05 16:43:18 · 591 阅读 · 0 评论 -
版权问题之要论
最近在思考的一个问题,其中涉及到了习题部分,突然想起版权问题。上网查了一下,下面的论述还比较靠谱,供大家参考。问:试题是否具有著作权?若有,归谁所有?期末考试试题是否具有著作权,若有,归谁所有答:将《著作权法》第四条和第五条进行反对解释,并不能为试题受著作权法保护或者属于著作权法客体提供法律依据。目前也没有法律、法规将试题明确规定为受著作权法保护的作品之一,那么,试题是否就因此不受著作权法...转载 2018-02-22 10:14:07 · 506 阅读 · 0 评论 -
科学知识图谱
知识图谱,也称为科学知识图谱,它通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。为学科研究提供切实的、有价值的参考。 — 百度百科 实体及其之间的关系图。规模:5亿个对象,35亿个事实和关系—维基百科 知识图谱实现对客观世界转载 2018-01-04 16:39:59 · 3554 阅读 · 0 评论 -
图片中识别出中文开源OCR使用
从一张图片中识别出中文,通过python来实现,这种这么高大上的黑科技我们普通人自然搞不了,去github找了一个似乎能满足需求的开源库-tesseract-ocr:You may encounter build failures or other breakages. Please create pull-requests instead of filing issues. ==> In原创 2018-01-11 13:46:44 · 4436 阅读 · 0 评论 -
云计算创业公司EasyStack openstack的中国创业领先者
云计算创业公司EasyStack今天对外宣布,已经完成1600万美元的B轮融资,由如山创投领投,盈动投资和A轮投资者蓝驰创投跟投。本次融资为中国开源领域迄今公布的最大单笔融资。EasyStack 是领先的OpenStack云平台和服务提供商,基于OpenStack为企业级客户提供开放、稳定、可靠、高性能的云计算平台,并在2014年推出了亚太第一款基于OpenStack的弹性混合云产品。EasySt转载 2016-08-09 14:23:35 · 867 阅读 · 0 评论 -
开源实时日志分析ELK平台部署
开源实时日志分析ELK平台部署日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务转载 2016-03-08 17:52:38 · 945 阅读 · 0 评论 -
csphere-caas
云栈科技是一家提供容器解决方案(csphere)的创业公司,其创始人王利俊是之前新浪SAE PaaS平台的负责人,在3月29日的QClub Docker大会上,王利俊分享了题为《Docker在生产环境的挑战以及应对》的演讲,本文根据其演讲内容整理而成。未来的趋势是PaaS还是CaaSPaaS从2008年万众瞩目到2012年遭受质疑,再到现在很多PaaS企业业务发展都不尽如人意(转载 2015-06-05 10:40:25 · 696 阅读 · 0 评论 -
云存储的核心是大数据模式---服务化--初创公司仅能提供更多技术解决方案非基础运营
实现“羊毛出在猪身上”崇尚免费模式的周鸿祎曾在《人民日报》撰文说“互联网免费的奥秘不再是羊毛出在羊身上,而是羊毛出在猪身上”,通过广告或者增值服务的方式赚钱,创造新的价值链。这并不陌生,QQ免费、360安全、小米手机都深谙其道。百度云等互联网巨头云存储的核心是大数据模式,拿到更多的用户数据,然后与广告业务、图片识别这些打通。大数据时代,数据即资产,谁掌握了更多的数据,谁就有机会发掘转载 2015-02-26 10:50:55 · 1482 阅读 · 0 评论 -
四大开源平台的定位:OpenStack、CloudStack、OpenNebula和Eucalyptus
http://www.cloudguide.com.cn/news/show/id/2908.html看四大开源平台的定位:OpenStack、CloudStack、OpenNebula和Eucalyptus 在过去的5年间,自从2008年三月推出首个OpenNebula的开源版以来,我们做了许多展示,并探讨了OpenNebula与其它开源云平台(Eucal转载 2014-11-04 08:33:26 · 4067 阅读 · 0 评论 -
IT运维 新情况
转 http://xjsunjie.blog.51cto.com/999372/1426306伴随着IT新技术的发展,大数据、云计算、虚拟化等对大家而言已不再陌生。在企业中随着虚拟化技术的实施推进,虚拟化技术在优势显现的同时,各种问题也随之而来,很多运维工程师感觉虚拟化后不是越来越轻松,反而越来越累。问题到底出在哪?云时代下的运维到底是简单还是复杂了?我们的思维是不是还禁锢在传统的运维里面转载 2014-06-17 20:04:10 · 956 阅读 · 0 评论 -
结合了Apache ActiveMQ、Camel、CXF和Karaf的特性
Apache ServiceMix是小巧的开源集成容器,它结合了Apache ActiveMQ、Camel、CXF和Karaf的特性和功能到一个强大的运行平台,你可以用它构建属于自己的集成解决方案。它提供了一个由OSGI技术支持的全面的企业预备ESB。开源ESB-ServiceMix服务总线其主要特性(features)包括:基于Apache ActiveMQ的可靠消息 基于Apac...转载 2018-05-03 15:38:21 · 714 阅读 · 0 评论 -
自适应学习:最好的定位是辅助工具
自适应学习拼的不是简单的代码或者几个算法,而是收集、分析、运用和维护海量的学习数据,涉及到大数据的沉淀、检测和推荐算法的精准性。这需要有一个顶尖的研发团队来做,而在这其中,数据科学团队是最重要的。数据科学团队需要懂得贝叶斯理论、信息论等高级的算法和数据分析技术,而且还要不断地对算法进行优化,甚至根据需要开发新的算法。纵观全国,目前自称为“自适应学习”的公司都还不具备这样顶尖的数据科学团队。自适...原创 2018-05-10 16:58:22 · 1492 阅读 · 0 评论 -
ManageIQ-混合云管平台
管理Openstack在cloud下添加openstack的provider,填写正确的admin tenant和admin用户。注意manageIQ要访问openstack的管理网络。ManageIQ早期(2006年4月-2012年11月)由公司维护,为闭源软件,2012年12月RedHat公司以1.04亿美元收购该公司,此后由RedHat维护。2014年6月开放了该软件的全部源代码。Man...转载 2019-06-12 11:56:03 · 1142 阅读 · 0 评论 -
高考志愿指导师
授课内容序号课程内容课程学时备注1高考历史沿革及高等院校调整22中国高校的学科概况及院校排名23中国高校学生就业问题分析44高考志愿填报的常见误区45职业生涯规划理论与实践应用46科学填报高考志愿的基本方法47科学填报高考志愿的注意事项及案例分享49高考志愿填报指导师执业辅导工作坊49科学填报高考志愿普及工程的推广与实践2培训考核所...转载 2019-01-09 15:43:45 · 1430 阅读 · 0 评论 -
他们多这么干,聪明得紧
乐知行的智慧校园涉及师生管理、教务管理等;而新高考产品线则包括智能排课、生涯规划、师生评价、智能班牌等。加上大数据云平台的加持,乐知行主打的三款产品体系基本通过整体解决方案的形式向学校提供服务。但需要明确的一点是,这三条产品线无论是组合还是单拳出击,其实都脱离不开新高考改革的时代背景。天津大学招生办副主任许晶曾提到,新高考带来了包括文理分科变成混合科目、采取等级赋分模式、新的多样的招生类型出现...转载 2019-01-07 11:09:33 · 812 阅读 · 10 评论 -
ejabberd-open 安装
https://github.com/qunarcorp/ejabberd-open依赖包sudo yum install epel-releasesudo yum -y updatesudo yum -y groupinstall Base “Development Tools” “Perl Support”sudo yum -y install openssl openssl-dev...转载 2019-01-11 16:50:34 · 358 阅读 · 0 评论 -
中学生学科学习能力测评
一、关于中学生学科学习能力测评(ASLP)系统什么是中学生学科学习能力测评系统?学科学习能力测评(ASLP)系统是基于多元智能理论和智力测评技术、通过网络化的手段而集成研发的一套技术工具。系统采用网络评估并及时比对数据库,呈现学生在评估过程中所展现的学习潜能。其功能为评估学生的记忆能力、辨色能力、专注能力、逻辑能力、复杂信息处理能力、计算能力、空间知觉能力、系统思维能力等智力因素。通过智力...转载 2019-01-04 16:34:56 · 4345 阅读 · 0 评论 -
教育 学海无涯
第一,教育需求的普遍化。随着知识迭代速度的不断加快,学校教育在社会整体教育需求中的权重正不断降低,终身教育正实实在在成为个体的现实需要。可以预期,针对不同人群需求与特点的教育形态在未来的发展将更为蓬勃,边界将更为模糊。在这种形势下,教育行政部门管教育、人力资源部门管培训的广义教育领域“九龙治水”的局面已有不能适应之感。第二,教育主体的多样化。一方面,信息技术的发展使得教育场域的进入更为便利;可以...转载 2018-11-06 15:17:47 · 841 阅读 · 0 评论 -
自适应题库NO、情感NO what
不看好自适应题库刘瞻告诉亿欧起初团队想直接做个自适应题库,实践过后放弃了这个想法,他讲了自己的亲身经历:“我在自适应题库做GMAT,第一次轻松拿到600多分,复习了一个半月后再次做题的过程很痛苦。”他告诉亿欧自适应题库会沿着一个人的能力边界推荐题目,以最少的资源、时间获取最高执行度的测评结果,特点是能高效、精准地测出做题者的水平,但是它并不是一个很好的训练和学习方式,“因为自适应题库不把做题者当...转载 2018-10-26 15:25:12 · 594 阅读 · 0 评论 -
政务大数据
政务大数据2017年是我司大数据业务的起航之年。依托《政务信息系统整合共享实施方案》、《关于开展政务信息系统整合共事应用试点的通知》,公司先后在河北省、贵州省、威海、马鞍山、河南多个地级市参与了政府资源信息整合项目的建设,并在公共资源、智慧住建、政务服务、城市治理等不同领域进行了大数据的深化应用。2017年,公司在张家港、沈阳两地成功举办了较大规模的大数据应用研讨会,几十位行业专家和各地主管领导...转载 2018-10-25 16:01:45 · 1244 阅读 · 0 评论 -
温州教育大数据项目论证会
近日,浙江省温州教育大数据项目论证会议在市教育大楼举行。温州市教育局副局长戚德忠出席会议。 会上,戚德忠详细介绍了温州教育大数据建设的必要性和迫切性,并阐述了对温州教育大数据项目的理解。温州市教育局大数据攻关小组详细介绍了项目建设方案。据介绍,温州构建教育大数据平台,汇聚教育管理、教育教学、学生健康相关数据资源,制定教育基础数据共享管理办法,建立数据更新交换共享机制和大数据的应用服务机制;开...转载 2018-08-28 16:07:16 · 466 阅读 · 0 评论 -
让机器去做它擅长的事情,人应该去做相对来说更模糊的
自适应学习是人工智能在教育领域的垂直应用。自适应学习系统的概念,在中国在线教育领域不算新鲜。教育行业有很多人都在说做自适应学习,“但其实这里面也是分层级的。”王枫认为,如果是预先制定的规则的话,这其实是非常初期的自适应。他介绍,论答的自适应系统与其他自适应系统最大的差别是,系统做出判断是基于非常强大的数据运算,而不是按照预先制定的规则,“论答的自适应学习系统后台是基于复杂的人工智能算法。”有点...转载 2018-08-06 10:46:40 · 374 阅读 · 0 评论 -
Fedora 15 SPICE support
Fedora: virt-manager with SPICE support coming in Fedora 15Submitted by Scott Dowdle on Fri, 2011-04-15 13:46. Fedora | kvm | Spicevirt-managerI've been keeping up with the virtualizatio转载 2014-06-14 22:31:29 · 802 阅读 · 0 评论 -
数据库选择
数据库选择MySQL[43]是一个快速的、多线程、多用户和健壮的SQL数据库服务器,支持关键任务、重负载系统的使用,是最受欢迎的开源数据库管理系统,是Linux下网站开发的首选。它由MySQL AB开发、发布和提供支持。MySQL数据库能为网站提供:高性能。MySQL支持海量,快速的数据库存储和读取。还可以通过使用64位处理器来获取额外的一些性能,因为M转载 2014-06-02 15:13:06 · 870 阅读 · 0 评论 -
Nagios是一款开源的电脑系统和网络监视工具
http://www.cnblogs.com/mchina/archive/2013/02/20/2883404.html Nagios是一款开源的电脑系统和网络监视工具,能有效监控Windows、Linux和Unix的主机状态,交换机路由器等网络设置,打印机等。在系统或服务状态异常时发出邮件或短信报警第一时间通知网站运维人员,在状态恢复后发出正常的邮件或短信通知。 Nagio转载 2014-04-15 13:10:42 · 786 阅读 · 0 评论 -
大型的LBS应用地理位置索引技术
地理位置索引支持是MongoDB的一大亮点,这也是全球最流行的LBS服务foursquare 选择MongoDB的原因之一。我们知道,通常的数据库索引结构是B+ Tree,如何将地理位置转化为可建立B+Tree的形式,下文将为你描述。首先假设我们将需要索引的整个地图分成16×16的方格,如下图(左下角为坐标0,0 右上角为坐标16,16):如果我们使用sql,是不是要把整个中国地图,进行划原创 2013-05-07 17:26:59 · 1099 阅读 · 0 评论 -
mongoDB的截图
MongoVUE工具来可视化查询,浏览数据,server性能监视等通过explain来查看性能数据,包括inex,看到Cursor:GeoSearchCursor原创 2013-05-17 14:43:03 · 794 阅读 · 0 评论 -
用经纬度大致计算距离
用经纬度大致计算距离地球赤道上环绕地球一周走一圈共 40075.04公里而一圈分成360°而每1°(度)有60'每一度一秒在赤道上的长度计算如下:40075.04km/360°=111.31955km111.31955km/60'=1.8553258km=1855.3m而每一分又有60秒每一秒就代表 1855.3m/60=30.92m任意两点距离计算公式为原创 2013-05-17 08:51:55 · 4301 阅读 · 0 评论 -
集合SQL以及NO-Sql
客户端、后台、服务员、三者多会采用写读机制,如何分离读写? 从.net的标准架构来看,从数据库,到持久层,到服务层,到MVC,但目前在读取性能方面遇到很大问题。We have a large news-oriented site that has high web traffic. The architecture is your often seen DB - Repo翻译 2013-05-17 11:30:15 · 968 阅读 · 0 评论 -
mongo DB空间索引
http://blog.csdn.net/raojinpg/article/details/6891507mongoDB支持二维空间索引,使用空间索引,mongoDB支持一种特殊查询,如某地图网站上可以查找离你最近的咖啡厅,银行等信息。这个使用mongoDB的空间索引结合特殊的查询方法很容易实现。前提条件:建立空间索引的key可以使用array或内嵌文档存储,但是前两个elements转载 2013-05-16 22:20:03 · 746 阅读 · 0 评论 -
Java的主流开源工具大数据工具
转http://www.csdn.net/article/2013-04-28/2815095-big-data-theory-to-implementation 吹牛大数据,不懂hadoop不行的,12大工具一半以上和 这个有关将介绍大数据领域支持Java的主流开源工具:1. HDFS HDFS是Hadoop应用程序中主要的分布式储存系统, HDFS集群包含了一个Na转载 2013-04-29 22:28:44 · 844 阅读 · 0 评论 -
Box--存储盒子大数据盒子
跟着上篇盒子经济 随着企业大数据项目的进展,数据分析速度的重要性正日渐凸显。为了进一步提升大数据分析速度,IBM本周三在加州发布了一款Hadoop大数据机,旨在帮助企业用户实现对更多种类和更大规模数据进行(更低成本地)实时分析的需求。IBM软件信息管理部门总经理Bob Picciano表示:企业正被大数据洪水围困,作为厂商IBM必须向客户提供更好的工具掘金大数据,这些工具必须够转载 2013-04-08 17:08:24 · 1442 阅读 · 0 评论 -
存储技术
SCSISCSI(Small Computer Systems Interface,小型计算机系统接口)技术是被磁盘、磁带等设备广泛采用的存储标准,从1986年诞生起到现在仍然保持着良好的发展势头;其二,沿用TCP/IP协议,TCP/IP在网络方面是最通用、最成熟的协议,且IP网络的基础建设非常完善。这两点为ISCSI的无限扩展提供了夯实的基础。ISCSIISCSI协议定义原创 2013-03-28 16:32:07 · 630 阅读 · 0 评论 -
EMC看大数据
EMC认为,企业的大数据之旅分三步走,即构建大数据基础架构、实现大数据的社交化以及提供预测分析能力。 数据已经成为继云计算之后又一受追捧的热点。日前,EMC全球副总裁兼中国区总裁蔡汉辉表示,企业的大数据之旅包括三个阶段,第一个阶段是以技术为重点的大数据基础架构,灵活且可扩展;第二个阶段是以人员和生产力为重点的灵活的分析和以数据科学家为中心的协作和自助服务,即社交化阶段;第三阶段则是以应用程转载 2013-03-29 09:03:15 · 919 阅读 · 0 评论 -
分布式文件系统综述
http://mss.sjtu.edu.cn/bencandy.php?fid=14&id=149分布式文件系统均为Client/Server架构。数据保存在服务器端,而客户端的应用程序能够像访问本地文件系统一样访问位于远程服务器上的文件。在client通常都对文件数据进行缓存,以提高读写性能和系统可扩展性。然而,缓存和一致性总是一对矛盾,一致性的实现往往比较复杂,这方面的研究有大量论文,在此转载 2013-03-12 12:50:18 · 1011 阅读 · 0 评论 -
硬盘尺寸
2.5英寸=6.35厘米=63.5毫米 大多数标准的ATX机箱都用3.5英寸硬盘如果是小机箱,迷你的,也有用2.5英寸硬盘! 2.5英寸的硬盘都是用在笔记本电脑了,一包普通香烟大小吧~但是比较薄~当然,特殊的还有1.8寸硬盘,都用在超薄机上! 1、3.5寸hdd 希捷、西数/日立、三星 oem市场,好像是希捷、西数/日立比较多 2、2.5寸hdd 希捷、西数/日立原创 2013-03-08 12:22:17 · 2738 阅读 · 0 评论 -
重复数据删除和压缩处理
重复数据删除和压缩处新版本将数据保存在HCP上,它在这里可以得到安全地保护,而不是被发布到BYOD设备中。 用户们可以将文件保存到他们的HCP Anywhere文件夹中,然后那些文件就会自动被同步到所有已经注册的设备上,并且用户可以通过网络浏览器来查阅它们。现在,用户们可以随时随地访问那些文件,而不仅仅是在办公室中。 HCP将数据作为对象保存下来,那些对象数据经过了重复数据删除转载 2013-05-25 11:29:18 · 1183 阅读 · 0 评论 -
移动领域信息
一. 垂直应用:随时随地的应用垂直应用指的是对于拥有大批“办公室外”人员的产业,这些应用有专一的行业侧重。1)房地产App:比如房地产业一贯以“新兴科技难以融入”著称,但在过去两年移动优先的解决方案在这里呈现爆炸性的增长。比如Cartavi的移动应用就广为流行——中介、买家买家和类似抵贷银行的机构都可以用它来浏览和分享云端的交易资料。在房地产的建筑领域,PlanGrid打造了非常丰富的选择转载 2013-05-12 23:05:38 · 677 阅读 · 0 评论