数据湖开发者社区的博客

图像识别/人工智能/自然语言处理/技术交流

  • 博客(31)
  • 收藏
  • 关注

原创 Python入门实战题目

1. 有1、2、3、4个数字,能组成多少个互不相同且无重复数字的三位数?都是多少?2. 两个乒乓球队进行比赛,各出三人。甲队为a,b,c三人,乙队为x,y,z三人。已抽签决定比赛名单。有人向队员打听比赛的名单。a说他不和x比,c说他不和x,z比,请编程序找出三队赛手的名单。3. 有一个已经从小至大排好序的数组[0, 10, 20, 30, 40, 50]。现输入一个数,要求按原来的规律将它插入数组中。4.猜拳石头剪刀布,三局两胜。...

2022-01-04 16:25:57 492

原创 Python入门练习题目

一、字符统输入一行字符,分别统计出其中英文字母、空格、数字和其它字符的个数。二、完数一个数如果恰好等于它的因子之和,这个数就称为“完数”。判定一个数字是否为完数。三、素数输出101-200之间所有素数。四、字符画将下图转化为字符画首先将其转化为黑白图。将黑白图改为字符图...

2021-12-22 10:59:46 614

原创 三个Python入门小项目

一、经典冒泡排序算法: 1.冒泡排序:小的排前面,大的排后面。 2.排序:最终使得数组中的这几个数字按照从小到大的顺序排序。 3.冒泡排序的概念,关系到下来怎么写程序。(重要概念)相邻的两个元素,依次比较。 利用for循环,完成 a=[2,9,5,76,19,3] 的冒泡排序。 通常冒泡排序, n个数字,n-1次即可完成排序。6个数字,比较5次分别输出,第6行为最终结果。二、猜数字 五次机...

2021-11-24 16:22:54 824

转载 SQL语法基础

结构化查询语言(Structured Query Language):是一种特殊目的的编程语言,是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统。数据查询语言(DQL):SELECT(查询)数据操作语言(DML):INSERT(插入)、UPDATE(修改)、DELETE(删除)一、常见的MySql的数据类型:文本:varchar、text、longtext数字:int、tinyint、bigint、float、double日期:date(2021-07-

2021-11-11 14:38:10 363

原创 两个简单的python入门小游戏

一、猜数字 随机生成一个数字为答案,输入数字为猜测数字,会提示两者关系,找到随机生成的数字。 效果如下:二、猜拳 1. 用户输入自己的出拳内容 2.让电脑随机出拳 3.判断胜负(由于情况较少,可以全部列举) 效果如下:...

2021-11-09 16:20:00 4114

转载 Python爬虫教程(四)

一、线程、进程、协程的概念 线程:是进程的一个执行单元,是进程内科调度实体。比进程更小的独立运行的基本单位。线程也被称为轻量级进程。 进程:是并发执行的程序在执行过程中分配和管理资源的基本单位,是一个动态概念,竞争计算机系统资源的基本单位。 协程:是一种比线程更加轻量级的存在。一个线程也可以拥有多个协程。其执行过程更类似于子例程,或者说不带返回值的函数调用。二、多线程 1.单线程:两个部分的任务,执行完前面再执行后面任务。...

2021-10-09 09:57:48 186

转载 Python爬虫教程(二)

一、bs4解析介绍 1.bs4解析:BS4全称是Beatiful Soup,它提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。 2.HTML:用来描述网页的一种语言。 1)HTML指的是超文本标记语言 (Hyper Text Markup Language) 2)HTML 不是一种编程语言,而是一种标记语言 (markup la...

2021-09-22 13:43:31 157

转载 python爬虫教程(一)

Python版本:python3.6 使用工具:pycharm一、第一个爬虫程序 获得网址源代码。如下图获取百度页面源代码二、Web请求过程 1. 服务器渲染:在服务器中直接把数据和html整合在一起,返回给浏览器。(在页面源代码中能看到数据) 2. 客户端渲染:第一次请求只要一个html骨架,第二次请求拿到数据,进行数据展示。(在页面源代码中,看不到数据)三、requests入门 1....

2021-09-14 15:44:14 226

转载 Scrapy介绍及入门

一、Scrapy简介 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。二、架构概览1. Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动,并在相应动作发生...

2021-09-06 10:43:55 665

转载 Python爬虫介绍及实战入门

一、什么是爬虫爬虫:一段自动抓取互联网信息的程序,从互联网上抓取对于我们有价值的信息。二、Python爬虫架构Python 爬虫架构主要由五个部分组成,分别是调度器、URL管理器、网页下载器、网页解析器、应用程序(爬取的有价值数据)。1. 调度器:相当于一台电脑的CPU,主要负责调度URL管理器、下载器、解析器之间的协调工作。2. URL管理器:包括待爬取的URL地址和已爬取的URL地址,防止重复抓取URL和循环抓取URL,实现URL管理器主要用三种方式,通过内存、数据库、缓存数据库..

2021-08-31 15:31:03 182

转载 Python10分钟入门

一、Python简介Python由荷兰数学和计算机科学研究学会的Guido van Rossum 于1990 年代初设计,作为一门叫做ABC语言的替代品。Python提供了高效的高级数据结构,还能简单有效地面向对象编程。Python语法和动态类型,以及解释型语言的本质,使它成为多数平台上写脚本和快速开发应用的编程语言,随着版本的不断更新和语言新功能的添加,逐渐被用于独立的、大型项目的开发。Python解释器易于扩展,可以使用C或C++(或者其他可以通过C调用的语言)扩展新的功能和数据类型。Pyt..

2021-08-26 14:33:25 206

转载 工程探索仿生机器人

1. 项目需求 项目需求产品为“工程探索仿生机器人”,具体需求如下:(1)功能性需求 可行走(或飞行)并能够自动避开障碍物,且能够在失去平衡后快速恢复; 具备视觉能力,并可进行基本的图像分析; 具备多模态的人机交互能力,例如基于触控交互、基于语音识别交互、基于动作识别交互、基于传统的硬件设备的交互等。(2)非功能性需求 硬件设计模块化; 开放的可编程能力; 待机时间较长,...

2021-08-20 13:38:20 207

转载 【Flask】快速入门后台写接口【API】

Flask是一个使用Python编写的轻量级Web应用框架。 其WSGI工具箱采用Werkzeug,模板引擎则使用Jinja2。Flask使用BSD授权。Flask也被称为“microframework”,因为它使用简单的核心,用extension增加其他功能。首先介绍Flask安装:进入创建的虚拟环境,在虚拟环境中使用pip install xxx 进行flask安装。使用flask进行输出hello world! 输出结果中127.0.0.1代表本地...

2021-08-17 11:18:18 808

原创 自然语言处理入门指北 之 one-hot

自然语言(Natural Language)通常是指一种自然地随文化演化的语言,例如,汉语、英语、日语都是自然语言的例子。与编程语言等为计算机而设的“人造”语言相对,自然语言无法直接被计算机等“理解”,在这个前提下,如何让计算机认识、学习乃至理解自然语言就成了一个重要的研究方向:自然语言处理( Natural Language Processing, NLP) 。简而言之,自然语言处理旨在人与机器的直接通信,这需要一个复杂的系统做支撑,尤其是该系统必须能够正确的“表示”自然语言。以汉字为例,虽.

2021-08-09 09:57:05 395

转载 共享停车位

随着代步车的普及,对停车位的需求日益增长,停车位的供应跟不上汽车保有量的快速增长,地段有限,停车场有限,停车位有限,停车难已经成为当今“城市病”中最难解决的一环。随着共享经济的发展,错时停车的提出和实施也逐渐被大众接受,通过物联网创新技术实现智能共享停车是提高城市车位使用率,解决“停车难”、“车位管理困难”等现象,在一定程度上实现“错时停车”的较好方法。针对停车问题,易华录数据湖开发者社区平台面向大学生创业团队启动了共享停车位创业招募计划,创业团队需完成共享车位系统从商业企划方案到设计、开发、测..

2021-08-04 16:31:50 268

原创 用pandas进行数据分析实战

安装pandas模块包,载入练习数据。在pandas中,常用的载入函数是read_csv。除此之外还有read_excel和read_table,table可以读取txt。若是服务器相关的部署,则还会用到read_sql,直接访问数据库,但它必须配合mysql相关包。read_csv拥有诸多的参数,encoding是最常用的参数之一,它用来读取csv格式的编码。这里使用了gb2312,该编码常见于windows,如果报错,可以尝试utf-8。sep参数是分割符,有些csv文件用逗号分割列,有些是

2021-07-26 15:23:02 1444

原创 开启算法编程之旅的准备工作——如何在Windows 上安装 Anaconda 和 PyCharm

Anaconda 指的是一个开源的 Python 发行版本,其包含了 conda、Python 等 180 多个科学包及其依赖项。PyCharm 是一种 Python IDE(Integrated Development Environment,集成开发环境),带有一整套可以帮助用户在使用 Python 语言开发时提高其效率的工具,比如调试、语法高亮、项目管理、代码跳转、智能提示、自动完成、单元测试、版本控制。一、安装 anaconda1、登录 anaconda 官网,菜单工具栏中选择 prod

2021-07-19 10:34:31 172 1

原创 5分钟弄懂语音识别技术原理

简要给大家介绍一下语音怎么变文字的吧。希望这个介绍能让所有同学看懂。首先,我们知道声音实际上是一种波。常见的mp3、wmv等格式都是压缩格式,必须转成非压缩的纯波形文件来处理,比如Windows PCM文件,也就是俗称的wav文件。wav文件里存储的除了一个文件头以外,就是声音波形的一个个点了。下图是一个波形的示例。在开始语音识别之前,有时需要把首尾端的静音切除,降低对后续步骤造成的干扰。这个静音切除的操作一般称为VAD,需要用到信号处理的一些技术。要对声音进行分析,需要对声音分帧,也就是把声音切开成一

2021-07-09 09:32:28 663

原创 2021中国华录杯·算法大赛活动进行中,超多奖励等你来拿

话不多说,期待你的参与!

2021-07-07 11:24:34 188

原创 万众瞩目的2021中国华录杯·数据湖算法大赛火热进行中!

2021中国华录杯·数据湖算法大赛火热进行中!总奖金69.5万元,提供“人才录用直通车”创业扶持&双创中心办公场地,更有入驻数据湖科技企业孵化器,加速产品和项目落地的机会!华录杯大赛官网开发者社区(https://dev.ehualu.com)作为2021中国华录杯·数据湖算法大赛唯一官方报名平台,承接着展示数据湖项目需求,促进生态产品落地,满足各方需求的使命,同时提供各类资源,促进开发者之间交流学习,广大开发者可登录平台注册后进行大赛报名。2021赛题介绍本

2021-07-07 10:03:37 426

原创 图像识别算法

图像特征包括颜色特征、纹理特征、形状特征以及局部特征点等。局部特点具有很好的稳定性,不容易受外界环境的干扰。1.局部特征点图像特征提取是图像分析与图像识别的前提,它是将高维的图像数据进行简化表达最有效的方式,从一幅图像的的数据矩阵中,我们看不出任何信息,所以我们必须根据这些数据提取出图像中的关键信息,一些基本元件以及它们的关系。局部特征点是图像特征的局部表达,它只能反正图像上具有的局部特殊性,所以它只适合于对图像进行匹配,检索等应用。对于图像理解则不太适合。而后者更关心一些全局特征,如颜色.

2021-07-06 10:01:36 1971

原创 数字水印技术的原理、实现及其应用

概述数字水印,是指将特定的信息嵌入数字信号中,数字信号可能是音频、图片或是视频等。数字水印可分为浮现式和隐藏式两种,明水印(visible watermarking),其所包含的信息可在观看图片或视频时同时被看见。盲水印(blind watermarking)是以数字数据的方式加入音频、图片或视频中,但在一般的状况下无法被看见。隐藏式水印的重要应用之一是保护版权,期望能借此避免或阻止数字媒体未经授权的复制和拷贝。数字水印技术是一门新兴的多学科交叉的应用技术,它涉及不同学科领域的理论和技术,如信号处理、图

2021-07-06 09:58:33 23159 1

原创 Redis容灾策略

RDB持久化修改redis.conf文件,开启RDB持久化机制:save 900 1save 300 10save 60 10000AOF持久化修改redis.conf文件 打开AOF机制 appendonly yes 配置rewrite auto-aof-rewrite-percentage 100auto-aof-rewrite-min-size 64mb AOF写入方式(每秒写入即可) # appendfsync alway

2021-07-06 09:53:24 702

原创 Nginx学习笔记(三)

过滤模块简介执行时间和内容过滤(filter)模块是过滤响应头和内容的模块,可以对回复的头和内容进行处理。它的处理时间在获取回复内容之后,向用户发送响应之前。它的处理过程分为两个阶段,过滤 HTTP 回复的头部和主体,在这两个阶段可以分别对头部和主体进行修改。执行顺序过滤模块的调用是有顺序的且在编译时决定。控制编译的脚本位于 auto/modules 中,当你编译完 Nginx 以后,可以在 objs 目录下面看到一个 ngx_modules.c 的文件。打开这个文件,有类似的代码:ng

2021-07-06 09:51:20 147

原创 Nginx学习笔记(二)

handler 模块Handler 模块简介Handler 模块就是接受来自客户端的请求并产生输出的模块。配置文件中使用 location 指令可以配置 content handler 模块,当 Nginx 系统启动的时候,每个 handler 模块都有一次机会把自己关联到对应的 location上。如果有多个 handler 模块都关联了同一个 location,那么实际上只有一个 handler 模块真正会起作用。handler 模块处理的结果通常有三种情况: 处理成功,处理失败(处理的

2021-07-06 09:38:10 250

原创 Nginx学习笔记(一)

Nginx初识Nginx架构Nginx在后台运行包含一个master进程和多个worker进程。所以Nginx一般以<u>多进程</u>方式运行,且支持**<u>多线程</u>**,在调试时也可以选择以<u>单进程</u>方式运行。master进程用来管理worker进程,可以接受外界信号,向worker发送信号,监控worker状态。worker平等且独立处理各个请求,worker进程的个数可以设置,一般与CPU核数一致。

2021-07-06 09:28:32 173

原创 安装Jenkins及配置自由风格自动打包部署

安装Jenkins拉取Jenkins镜像docker pull jenkinsci/blueocean运行镜像docker run -u root -d -p 8080:8080 -p 50000:50000 -v jenkins-data:/var/jenkins_home -v /var/run/docker.sock:/var/run/docker.sock --restart=always jenkinsci/blueocean浏览器访问http://IP:8080

2021-07-05 17:35:42 459

原创 简单安装Harbor私有镜像仓库

安装准备Docker 17.06.0-ce+Docker-compose 1.18.0+安装Docker安装工具yum install -y yum-utils device-mapper-persistent-data lvm2配置Docker下载地址yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo查看Docker版本列表yum list

2021-07-05 17:31:46 77

原创 Python——爬虫

程序简介本程序的作用是爬取“豆瓣电影 TOP250”页面内容,同时作为爬虫入门。本程序使用了scrapy框架,使用MongoDb存储数据。原本打算同时使用代理和随机User-Agent来伪装爬虫,但代理费用较高没有使用(该设置代码在程序中注释,有条件的读者可以删除注释使用),只使用了随机User-Agent。环境准备python(3.7.2) scrapy(1.5.1) mongodb(4.0.5)程序步骤 新建爬虫程序,在环境准备好后,进入某一目录,终端内输入以下命令,新建程序

2021-07-05 17:28:21 102

原创 Maven的简单配置说明

什么是MavenApache Maven,是一个软件,一个项目管理工具,它包含了一个项目对象模型 (Project Object Model POM),一组标准集合,一个项目生命周期(Project Lifecycle),一个依赖管理系统(Dependency Management System),和用来运行定义在生命周期阶段(phase)中插件(plugin)目标(goal)的逻辑。POM:POM(project object model)是Maven对一个单一项目的描述。POM是Maven的核心

2021-07-05 17:17:30 198

原创 容器技术发展简史

“云原生技术有利于各组织在公有云、私有云和混合云等新型动态环境中,构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式 API。”聊容器技术避不开云原生,聊云原生也避不开容器技术。容器技术和云原生就是一对双螺旋体,容器技术催生了云原生思潮,云原生生态推动了容器技术发展。从 2013 年 docker(container)技术诞生,到 2015 年 CNCF 这个云原生领域重量级联盟便成立,这不是历史的巧合而是历史的必然。作为云原生关键技术之一的容器,从 2013

2021-07-05 17:09:50 391

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除