XMPP与Openfire搭建的iOS即时通讯问题

我按网上的教程使用openfire搭建了一个后台服务器。然后再iOS客户端利用第三方XMPP框架写了一个即时通讯的demo，一切顺利。
我的问题是，我发现只需要知道后台服务器的地址和通讯的端口便能在服务器上进行相关操作，这样安全吗？或者有没有什么方法在能在服务器端对客户端来源进行判断，再确定是否响应。
说的有点乱，简单说就是，我写了一个程序可以连接到我的服务器。然后不小心服务器地址泄露出去了，别人知道了我的服务器地址也写了一个程序，也照样可以连接。为了避免这种情况发生，该怎么做？